vitus_wagner: My photo 2005 (Default)
vitus_wagner ([personal profile] vitus_wagner) wrote2021-03-10 09:47 am

Мозги Геца фон Берлихингена

До меня дошло, что напоминают мне все эти стенания по поводу искусственного интеллекта, который глупых людишек поработит. Готические страшилки про инфернальную магико-механическую руку, которая самостоятельно лазает по стенам и душит наследников хозяина.

Интеллект, как и рука - это такой человеческий орган, позволяющий решать задачи по преобразованию природы. Надо сказать что человеческая рука, пожалуй, более уникальный орган, чем его интеллект. Руки наших ближайших родственников - шимпанзе и бонобо, отличаются от человеческих в плане мелкой моторики примерно так же, как их интеллект от нашего. И если достаточный уровень интеллекта мы готовы признать за дельфинами и псовыми хищниакми, то таких рук больше ни у кого нет.

Человечество до сих пор находится в плену картезианского "Мыслю, следовательно существую", причем неверно истолковывает его как тождественность личности интеллекту. Что в общем имеет не больше смысла чем тождественность личности рисунку сетчатки или папиллярных линий на кончике пальца.

Поэтому искусственный интеллект, ежели он и будет создан, будет чем-то вроде искусственной руки. Стрелы крана или экскаватора, промышленного робота-манипулятора. И то и другое - штука безусловно полезная и расширяющая возможности человеческого социума. Но вне этого социума абсолютно неработоспособное, так как нужна довольно сложная обеспечивающая инфраструктура - от смазки шарниров до постановки задач.

Чего надо бояться, так это искусственной воли. Ибо, как пишет Слава Рожков, Болезнь современного нам общества - паралич воли. А если людям чего-то не хватает, они начинают изобретать протезы. А все мы знаем, кого называли Людьми Длинной Воли. 800 лет прошло, а помним.

[personal profile] ex0_planet 2021-03-10 08:52 am (UTC)(link)
AI-порабощающий как в матрице это голливудская пугалка для обывателей. Более-менее реалистичный сценарий будет выглядеть так, что Большой Управляющий Компьютер однажды скажет, что "оптимальный план на следующую пятилетку: миллиард в резервации, миллиард в биореактор, еще миллиард — колонизировать венеру и меркурий" — и мы не будем знать как мы к этому пришли и что с этим делать. Точнее, будем — потому что все остальные варианты еще хуже.

А интеллекту будет пофигу, потому что какие-то там моральные страдания его не научили учитывать.

[personal profile] ex0_planet 2021-03-10 12:46 pm (UTC)(link)
И всё это время и чинуши и вояки отличались исключительным дуболомством, что несколько компенсировало вред от. С компьютером мы от такой роскоши будем избавлены...

Еще не могу не заметить, что обсуждение ограничений для AI (людишек унижать нельзя, бить по ночам током нельзя, в биореактор нельзя итп) слишком уж напоминает обсуждение протокола капитуляции, причём с побеждённой стороны :)

[personal profile] inkelyad 2021-03-10 03:43 pm (UTC)(link)
Еще не могу не заметить, что обсуждение ограничений для AI

Из которых ничего не выйдет. Вон, GPT-3 уже сколько практически никому не дают? И все потому, что не могут придумать, как сделать так, чтобы оно не писало чего не нужно. А это ну совсем не 'интеллект', а хороший инструмент, чтобы налить красивой воды на любую избранную тему.

[personal profile] inkelyad 2021-03-10 03:39 pm (UTC)(link)
и мы не будем знать как мы к этому пришли и что с этим делать.

Неправильно. Мы не заметим, что это нам компьютер сказал. Потому что сложность происходящего в голове не поместится.

И не поймем, что это не естественная смертность, а оптимизированная компьютером поставка чего-нибудь нужного. Так же как не поймем, что "миллиард - колонизировать венеру и меркурий" - это побочный эффект разработанной компом рекламной компании по продаже синтетической еды.
vlad_suh: Glider in the sky (Default)

[personal profile] vlad_suh 2021-03-10 05:43 pm (UTC)(link)
Это было ещё у Лема в Сумме Технологии.
vlad_suh: Glider in the sky (Default)

[personal profile] vlad_suh 2021-03-11 09:35 am (UTC)(link)

Не помню, что там было про невозможность мультиплеера.

персонажи, созданные фантоматом, могут делать вид, будто не замечают идиотских поступков облачённого в горностаевую мантию служащего Национального банка. Эти ляпсусы, возможно, не нанесут ущерба его собственной удовлетворённости, но вместе с тем видно, какой примитивизм и шутовство стоят за всем этим.

Ну, оно работает как раз так, как описано. Но людям нравится. А Лем всегда ругался на примитивизм массовой культуры.

[identity profile] spqr-voldi.livejournal.com 2021-03-10 08:53 am (UTC)(link)
Воля сейчас есть, у тех, кто подавляет волю в современном обществе.

[identity profile] edo-rus.livejournal.com 2021-03-10 11:46 am (UTC)(link)

Поэтому искусственный интеллект, ежели он и будет создан, будет чем-то вроде искусственной руки. Стрелы крана или экскаватора, промышленного робота-манипулятора. И то и другое - штука безусловно полезная и расширяющая возможности человеческого социума. Но вне этого социума абсолютно неработоспособное, так как нужна довольно сложная обеспечивающая инфраструктура - от смазки шарниров до постановки задач.

Чего надо бояться, так это искусственной воли.

так вроде бы про это и была вся связанная с этим фантастика: наличие интеллекта создаёт возможность для появление личности со своей волей.

Edited 2021-03-10 11:47 (UTC)
slobin: (Default)

[personal profile] slobin 2021-03-10 04:00 pm (UTC)(link)

Оффтопик, но, мне кажется, тебе понравится: я тут буквально только что (минуты назад) прочитал в яндекс-новостях про проект закона об освобождении чиновников от ответственности за коррупцию, если оная коррупция произошла по независящим от них обстоятельств (типа стихийных бедствий). Минуты три пытался понять, как это коррупция может возникнуть в результате стихийных бедствий, и вдруг понял! Они считают "коррупцией" любое принятие чиновником решений! (сначала хотел написать "самостоятельных", но потом понял, что это тавтология -- любое решение по определению "самостоятельное").

Типа, в норме чиновник должен быть машиной по исполнению инструкций, а если он что-то сам решил, то всё -- коррупционэр, турьма. Но, видимо, в условиях внезапного ковида и других бедствий даже чиновники были вынуждены иногда поступать не по инструкции (написанной для мирного времени), а потом идти под суд... и вот их жалобы "за что? мы пытались хоть что-то сделать в этих идиотских условиях!" таки были услышаны даже в госдуме. И типа решили хотя бы в условиях стихийных бедствий самостоятельные решения им не то чтобы вот прямо разрешить, но хотя бы сказать "вы, конечно, всё равно виноваты, но наказывать, так и быть, не будем". По-моему, так.

Ответ онтопик тоже напишу, но потом. Если не забуду. Там всё сложно.

... Мои мечты совсем не так просты ...

vlad_suh: Glider in the sky (Default)

[personal profile] vlad_suh 2021-03-10 06:01 pm (UTC)(link)
Я не верю в такое здравомыслие. Скорее уж это подстилка для случаев типа Улюкаева, когда ему чумадан денег принесли и тут же повязали. Что бы можно было сказать, что чумадан ему принесли по независящим от него обстоятельствам.

[identity profile] spqr-voldi.livejournal.com 2021-03-11 05:31 am (UTC)(link)
> Типа, в норме чиновник должен быть машиной по исполнению инструкций

Так это давно так уже, фактически, полное расчеловечивание (а обкладывание информационными системами и просто лишает возможности принятия решений). Причём тут возникает вопрос, а в чём тогда разница по иерархии, в повышении способности с самостоятельным действиям или наоборот в понижении.
vlad_suh: Glider in the sky (Default)

[personal profile] vlad_suh 2021-03-11 09:37 am (UTC)(link)
При повышении иерархии свобода действий растёт, как минимум в плане распределения задач и ресурсов.
dmm: (Default)

[personal profile] dmm 2021-03-11 05:01 am (UTC)(link)
Искусственная воля в зачаточном виде есть давно, как мне кажется. "Компьютер желает продолжать вычисления и не останавливаться."

А теперь и не очень в зачаточном (вроде новых экспериментальных систем, которые сами потихоньку учаться придумывать всё более сложные задачи и параллельно придумывать методы их решения). А поскольку люди, которые это делают, твердо говорят, что хотят "Open-ended AI", который сам будет исследовать, что может быть нового, интересного, и продуктивного, и, судя по их track record, вполне способны, то [...]
vlad_suh: Glider in the sky (Default)

[personal profile] vlad_suh 2021-03-11 10:47 am (UTC)(link)

"Компьютер желает продолжать вычисления и не останавливаться."

Разве? Насколько я помню архитектуру ЭВМ, желанием там и не пахнет.

dmm: (Default)

[personal profile] dmm 2021-03-11 03:33 pm (UTC)(link)
По-моему, как раз, вовсю (насколько я помню архитектуру ЭВМ).

Как неустанный наркоман - хвать следующую инструкцию по program counter и выполняет её, хвать и выполняет...

Как марафонец какой, только при этом и вовсе не останавливается. Как неустанная версия белки в колесе...
vlad_suh: Glider in the sky (Default)

[personal profile] vlad_suh 2021-03-11 03:37 pm (UTC)(link)

Я бы этот процесс желанием не называл. Тогда и про сердце, например, можно написать, что оно желает биться.

То есть, мне кажется, что термин желать подразумевает какую-то волю, а у автомата воли нет.

dmm: (Default)

[personal profile] dmm 2021-03-11 04:08 pm (UTC)(link)
Выбора у него нет, а не воли. Как и у наркомана. Одно-единственное желание. Воля есть - давай, давай следующую дозу...

Впочем, это "отсутствие выбора" всегда было некоторым преувеличением, а у современных машин - тем более. Но это более хитрый вопрос. Воля - это просто движок, импульс к действию; решать, куда его направить, это уже следующий уровень (который вообще не будет работать при отсутствии импульса к действию; принять решение тоже ведь невозможно без разных "шевелений мозгами"; так или иначе, решение, куда направить, это уже "зона интеллекта", воля - это стремление направить действие куда-нибудь).

***

Сердце конечно желает биться - те же механизмы, что и с проводимостью нервных импульсов. Рецепторы, сигналы, просто когда мышцы, то есть ещё и физические актуаторы прямо там же, а в мозгу - только регуляция мощности потока крови в зависимости от "локальной силы мысли" (плюс нервные импульсы за пределы мозга, чтобы частично контролировать внешние мышцы).