Latched, pinned, and marked dirty

Сэм Харрис узнал о проблеме superintelligence не так давно. Судя по всему, не раньше, чем два года назад. И даже после того, как узнал, доходило довольно медленно. Вот, например, можно послушать его mumbling датированный апрелем 2015: https://youtu.be/JybXEp7k7XU

Однако, недавно до него дошло окончательно, и уже никогда не отпустит. Ну и как чоткий пацан, он выбросил все лирично-академические отступления Бострома, а заодно и половину аргументов, оставив только самые бронебойные, и запендюрил пятнадцатиминутный Ted Talk по теме, на которую у Бострома обычно уходит часа полтора, а у Юдковского - неделя по три часа каждый день.

Возможно, краткость не всегда сестра таланта, но в данном случае таки да. Enjoy:

jaerraeth пишет:

===

Наш племянник Федя долго мечтал о самокате, выпрашивал у всех. Наконец на день рождения, 4 года, получил. Вокруг прыгает Ваня, младший брат, и просит:
- Дай! Дай!
Федор выставляет вперед руку, отстраняя Ваньку:
- Тебе нельзя! Ты не мечтал!!!

===

так же и мы поступим, когда придём к власти сделаем mind upload.

смешное видео. Ника Бострома всё время анноит тупость интервьюера, но он старается не подавать виду, хотя временами кажется, что он сейчас сблеванёт.

https://www.youtube.com/watch?v=80Dz4td_zJM

Oтличный фильм, всячески рекомендую. Посвящён исключительно одному аспекту проблемы контроля искусственного интеллекта, а именно - capability control via boxing. Рассмотрен самый правдоподобный escape vector (given the constraints). Реалистичный конец без обычных розовых соплей. Just awesome.

помните, десяток лет назад был популярен термин "digital divide"? суть термина в "двугорбом" распределении по отношению к цифровым технологиям - люди либо по ту сторону этого divide, либо по эту.

сейчас я наблюдаю похожую картину по поводу AI. есть люди, которые врубаются и люди, которые не врубаются, и мало кто посередине.

про первый линк я уже писал, рассмотрим теперь второй. автор - писатель-фантаст (!), цитирующий "actual AI researchers". в первой же цитате профессор компьютерных наук признаётся в том, как он понимает singularity: It assumes a smart computer will create its own goals, and have its own will, and will use its faster processing abilities and deep databases to beat humans at their own game.

Deep databases, Карл!

эксперт не прост, он явно слышал что-то и про deep learning, и про databases. ну перепуталось в голове, бывает. не говоря уже о том, что Бостром, например, специально демонстрирует, как при движении к final goal (унаследованной от seed AI) возникают instrumental goals, и как легко эти instrumental goals могут оказаться несовместимыми с существованием человечества. и о том, что как раз нет, not "their own game". игра будет совершенно другой, правила которой human level intelligence вряд ли сможет даже понять.

следующий эксперт просто заявляет, что predictions... simply not realistic. безо всякой аргументации, зачем? он же эксперт, должны верить на слово.

следующий эксперт отрицает возможность super-intelligent autonomous benevolent A.I. to “reprogram” itself and remove its built-in safeguards against getting rid of humans. это продвинутый эксперт, он что-то слышал про control problem - но, к сожалению, немного; он не знаком со сценариями, которые делают невозможное очевидным.

ну и, наконец, самостоятельное творчество автора: Would you like a self-driving car that has its own opinions? That might someday decide it doesn’t feel like driving you where you want to go? That might ask for a raise?... и ещё пяток таких же глупостей, показывающих, насколько автор не понимает саму проблему, уж не говоря об ответах.

собственно, комменты к этой статье гораздо интереснее, чем сама статья. примерно половина комментаторов, по моим оценкам, въезжают в тему, и грамотно отвечают.

а статья специалиста по глубоким базам удостоилась аж слэшдота - и опять, примерно половина комментаторов по ту сторону divide, а половина - по эту.

я к чему это? удивительно, насколько широк divide. те, кто не в теме, распознаются мгновенно, буквально по тому, как и какие термины они употребляют.

Update: Only an expert can deal with the problem (Laurie Anderson)

если кому интересно, Nick Bostrom (да, тот самый Bostrom, который simulation argument) выпустил новую книжку два месяца назад.

и да, уже не до шуток теперь:

As the fate of the gorillas now depends more on us humans than on the gorillas themselves, so the fate of our species then would come to depend on the actions of the machine superintelligence.

This is quite possibly the most important and most daunting challenge humanity has ever faced. And – whether we succeed or fail – it is probably the last challenge we will ever face.

http://www.amazon.com/Superintelligence-Dangers-Strategies-Nick-Bostrom/dp/0199678111

фигассе. это вам не шапочка из фольги. darth vaderский шлем практически. особенно, конечно, впечатляют направления:

- navigational commands/assistance
- behavioral reinforcement

и гуглование http://google.com/search?q=darpa+ultrasonic+brain даёт вполне осмысленную выдачу.

singularity is closer than it appears. хотя это скорее не виндж, а я даже затрудняюсь сейчас вспомнить, у кого там был такой ненавязчивый mind control.

obviously, they not only jumpstarted new life form from synthetic DNA, they cynically encoded some poetry in that DNA. no wonder geth are so evil in mass effect.