Latched, pinned, and marked dirty

всё происходит, как завещал великий Пелевин. давно придуманы причины, почему автономным дронам надо позволить принимать решения, кого убивать. теперь эти причины вбрасываются в публичный дискурс для дошлифовки — перед тем, как окно Овертона откроется уже навсегда.

The new weapons would offer speed and precision unmatched by any human while reducing the number — and cost — of soldiers and pilots exposed to potential death and dismemberment in battle.

Сэм Харрис узнал о проблеме superintelligence не так давно. Судя по всему, не раньше, чем два года назад. И даже после того, как узнал, доходило довольно медленно. Вот, например, можно послушать его mumbling датированный апрелем 2015: https://youtu.be/JybXEp7k7XU

Однако, недавно до него дошло окончательно, и уже никогда не отпустит. Ну и как чоткий пацан, он выбросил все лирично-академические отступления Бострома, а заодно и половину аргументов, оставив только самые бронебойные, и запендюрил пятнадцатиминутный Ted Talk по теме, на которую у Бострома обычно уходит часа полтора, а у Юдковского - неделя по три часа каждый день.

Возможно, краткость не всегда сестра таланта, но в данном случае таки да. Enjoy:

вот, кстати, неплохое выступление. всё, что он говорит, изоморфно идеям Бострома, но чувак говорит своими словами и приводит оригинальные примеры, которые сам придумал.

первые семь минут, где он рекламирует свою книгу, можно скипнуть.

Дрекслер теперь тоже, оказывается, суперинтеллектом занимается, причём в институте, которым руководит Бостром. Хотя книжку своего начальника он, похоже, читал невнимательно - то, что Дрекслер называет "non-agent AI", там называется "oracle".

Интересна же в выступлении Дрекслера концепция "fight superintelligence with another superintelligence"; в книжке Бострома про это ничего нет, хотя задним числом концепция кажется очевидной.

Андрей Карпатый написал новую статью про нейронные сети, на этот раз про то, как научить сетку отличать плохое селфи от хорошего.

It does not get confused or discouraged, it just does its best with what it's been given - also see It can't be bargained with. It can't be reasoned with. And it absolutely will not stop, ever, until you are dead.

видео про визуализацию того, что происходит в промежуточных слоях сетки. pretty awesome, и получается, что сетки скорее не чёрный ящик, а серый, потому что кое-что понятно.

смешное видео. Ника Бострома всё время анноит тупость интервьюера, но он старается не подавать виду, хотя временами кажется, что он сейчас сблеванёт.

https://www.youtube.com/watch?v=80Dz4td_zJM

нашумевшая история про google://"what happened to the dinosaurs" имеет продолжение. теперь top result - ссылка на статью под названием "Google is Wrong About What Happened to the Dinosaurs". very meta. напоминает мне карточку, на одной стороне которой написано "на обороте этой карточки написана правда", а на другой - "на обороте этой карточки написана ложь" :)

Oтличный фильм, всячески рекомендую. Посвящён исключительно одному аспекту проблемы контроля искусственного интеллекта, а именно - capability control via boxing. Рассмотрен самый правдоподобный escape vector (given the constraints). Реалистичный конец без обычных розовых соплей. Just awesome.