\\это всё тоже интересно, но имеет мало отношения к собственно проблеме superintelligence. во всех этих примерах человек у руля, а алгоритмы специализированные.

Дык... то есть, проблему вы всетаки понимаете. ;)

Чт все нынешние потуги с ИИ,
зависают ровно на том же самом месте -- "у руля" все равно стоит человек.

А самоорагизации и/или самообучения -- не видно и не слышно.

Но то... что этой проблемы почему-то никто из "умнейших мира сего" почему-то "не видит" и явно не формлирует...
(тот же Юдковский, последнее что у него читал... до ухода в религию "рациональности"... писал на попсовую тему ДружелюбногоИИ, а не про то, как этот ИИ сделать... хоть дружелюбный, хоть какой)
вас при этом не смущает? %)

То есть... вы реально верите в сказочку "когда у нас появятся ТАКИЕ мощные компьютеры... в них тут же и СуперИИ, как-то сам-собой и появится"??? %)