для тех, кому лень читать книгу - 16 минут видео

[109]

в спорах про ai теперь можно вместо слов использовать timestampы этого видео. например, если кто-то скажет "а мы выдернем из розетки", ответьте просто "11:20".

Comments

[yatur.livejournal.com]

С обучением AI нашей морали есть две проблемы

1) "Наша мораль" - довольно размытая штука. Мораль Исламского Государства весьма сильно отличается от морали Швейцарии. Если мы попытаемся оградить компьютер то "вредных" этических систем, рано или поздно он о них все равно узнает.

2) Даже если мы внушим компьютеру "правильную" мораль, где гарантия, что он будет ей следовать неопределенно долго? И не решит, достигнув просветления, что эти глупые правила пешерных троглодитов есть набор смешных и даже отвратительных несуразностей, которыми высший интеллект связан быть не может? Ну примерно как мы сегодня относимся к морали стаи горилл?

Ну или наоборот - если мы "законсервируем" компьютер на нашей текущей морали, где гарантия, что через 500 лет она не покажется нам столь же отвратительной, как порядки Европы 15-го века? А компьютер уже законсервирован - будет ловить и жечь еретиков и все такое прочее и сбить его с толку будет очень непросто. Подозреваю, что он объявит это ересью :)

[109.livejournal.com]

про это написано много, и даже можно проследить эволюцию концепции:

CEV [Yudkovsky, 2004]: https://intelligence.org/files/CEV.pdf
CEV, CAV, CBV [2012]: http://wiki.lesswrong.com/wiki/Coherent_Aggregated_Volition
CEV as per "Superintelligence" [Bostrom, 2014]