Культурный код Азимова: как три закона робототехники вошли в историю. Нулевой закон робототехники 3 закона робототехники ты хотел обойти

Айзек Азимов, 1965

Три зако́на роботехники в научной фантастике - обязательные правила поведения для роботов , впервые сформулированные Айзеком Азимовым в рассказе «Хоровод » ().

Законы гласят:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Трём Законам , а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например, «Зеркальное отражение »).

В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов : «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он - или робот, или очень воспитанный человек» .

Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса , где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу , главному редактору журнала «Astounding ». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой» .

К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года , за обсуждением очередного рассказа о роботах :

…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники . Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…

Через несколько лет ещё один друг Азимова - Рэндал Гаррет - приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.

Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби », и «Логика », ) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец », 1941) впервые звучит Первый Закон . И, наконец, полностью все три Закона приведены в «Хороводе» ().

Когда были написаны остальные истории и возникла идея издания сборника «Я, робот », первые два рассказа были «дополнены» Законами . Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов , описанными .

Этическое обоснование Законов

Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
Государство должно выполнять свои функции, если они не противоречат Первому Закону .
Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам .

На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов :

Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

Именно он был первым, кто дал этому закону номер - это произошло в романе «Роботы и империя », правда, само понятие ещё раньше сформулировала Сьюзен Келвин - в новелле «Разрешимое противоречие ».

Первыми роботами, которые стали подчиняться Нулевому Закону , причём по собственной воле, - были Жискар Ривентлов и Дэниел Оливо . Это описано в одной из финальных сцен романа «Роботы и Империя », когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла - они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда . Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом , Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону .

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры » Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (фр. ) », 1956 год) мысли Бейли переданы несколько иначе :

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Оригинальный текст (фр.)
Un robot ne doit faire aucun tort à un homme, à moins qu’il trouve un moyen de prouver qu’en fin de compte le tort qu’il aura causé profite à l’humanité en général!

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот » 2004 года . Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон , а именно Нулевой . Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому , его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.

Модификация Первого Закона

В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убей, но и не слишком старайся сохранить другому жизнь» .

В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов , обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение - необязательное условие, чтобы считаться человеком, и что истинные люди - это они, как наиболее совершенные и разумные создания. Остальные люди - тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, - и это будет неизбежным результатом «Трёх Законов Гуманистики».

На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».

Схожая идея высказывается в романе «Роботы зари », где Келден Амадиро желает использовать в качестве колонизаторов новых планет человекоподобных роботов. Элайдж Бейли, в разговоре с ним, высказывает опасение что такие роботы могут не пустить на обустроенные им планеты людей, считая что людьми являются именно они сами.

Если в предыдущем случае робот занял место человека в природе , то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей . Опять же, в расширенной версии - новелле «Позитронный человек », написанной Азимовым в соавторстве с Робертом Силвербергом , - из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания ».

Проблемы применения

Разрешение противоречий

Сам Азимов в предисловии к рассказу «Первый закон» в сборнике «Остальное о роботах » (1964) заявил, что в Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости для новых рассказов. Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов, и робот мог нарушить Законы , как только это представлялось возможным, вместо того, чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому - «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные , которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.

Роботы, подчиняющиеся Законам , могут испытать «роблок», или «умственное замораживание» - состояние необратимого повреждения позитронного мозга , - в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце » и «Роботы зари ». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным. Разрешением противоречий и изучением поведения роботов занимаются робопсихологи, как один из персонажей Азимова - Сьюзен Келвин .

Иное определение вреда в Первом Законе

Законы никак не определяют границы того, что может называться вредом для человека - это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?

Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения , то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле », где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.

Другие случаи использования Законов в фантастике

Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна » в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны ». С мнением Азимова, что роботы - это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам , но, по традиции, только Азимов упоминал о них явно.

В произведениях, где прямо говорится о Трёх Законах , обычно упоминается и их автор (например в романе С. Лукьяненко «Чистовик»).
Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль - фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.

В повести Вадима Чиркова «Робот в шляпе» представлен ещё один Закон, действующий подобно азимовским, запрещающий роботу лгать человеку. Однако умный робот Знайка обходит этот Закон: в преддверии разговора с людьми он обманывает другого робота, а тот уже, в свою очередь, повторяет версию Знайки людям, не зная, что она ложна.

Фильмы

Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» - довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым - мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик - мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.

Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы : «стоит ли человеку платить свободой за безопасность?» и «должны ли мы противиться, если существа, находящиеся в нашем распоряжении, потребуют для себя свободы?». Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон роботехники Азимова (см. выше).

Развитие ИИ - это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности - особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.

Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники , так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:

Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет :

Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.

С другой стороны, более поздние романы Азимова («

Три закона роботехники

Айзек Азимов, 1965

Три зако́на роботе́хники в научной фантастике - обязательные правила поведения для роботов , впервые сформулированные Айзеком Азимовым в рассказе «Хоровод » ().

Законы гласят:

…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники . Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…

Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби», и «Логика », ) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец», 1941) впервые звучит Первый Закон . И, наконец, полностью все три Закона приведены в «Хороводе» ().

Этическое обоснование Законов

Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
Государство должно выполнять свои функции, если они не противоречат Первому Закону .
Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам .

На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов :

Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.

Гея, планета коллективного разума в серии романов «Основание», обладает чем-то похожим на Первый Закон :

Вариации, предложенные Азимовым

В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.

Нулевой Закон

Айзек Азимов однажды добавил Нулевой Закон , сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:

Именно он был первым, кто дал этому закону номер - это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин - в новелле «Разрешимое противоречие».

Первым роботом, который стал подчиняться Нулевому Закону , причём по собственной воле, - был Жискар Ривентлов . Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара - он пытался прийти к нему через чистое понимание , через более тонкое, чем у всех остальных роботов, осознание понятия вреда . Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом , Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону .

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры » Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier ( )», 1956 год) мысли Бейли переданы несколько иначе :

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот » 2004 года . Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон , а именно Нулевой . Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому , его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека. Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.

Модификация Первого Закона

В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убий, но и не слишком старайся сохранить другому жизнь» .

Если в предыдущем случае робот занял место человека в природе , то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей . Опять же, в расширенной версии - новелле «Позитронный человек», написанной Азимовым в соавторстве с Робертом Силвербергом , - из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания ».

Проблемы применения

Разрешение противоречий

Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов и робот мог нарушить Законы , как только это представлялось возможным, вместо того чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому - «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные , которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.

Роботы, подчиняющиеся Законам , могут испытать «роблок», или «умственное замораживание» - состояние необратимого повреждения позитронного мозга, - в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце » и «Роботы Утренней зари». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным.

Иное определение вреда в Первом Законе

В рассказе «Лжец» робот-телепат Херби вынужден был понимать под вредом и то, что может любым способом разочаровать или расстроить людей - он знал, что люди при этом испытывают некую душевную боль. Это заставляло его постоянно говорить людям вместо правды то, что они хотели услышать. В противном случае, в его понимании, он нарушил бы Первый Закон .

Лазейки в Законах

В «Обнажённом солнце» Элайдж Бейли замечает, что Законы неправильно формулируются людьми, потому что робот может нарушить их по незнанию . Он предложил следующую «правильную» формулировку Первого Закона : «Робот не может делать ничего, что, насколько ему известно , причинит вред человеческому существу или умышленно допустить, чтобы человеческому существу был причинён вред».

Это дополнение проясняет, что робот может даже стать орудием убийства, если он не осведомлён о сущности своих действий. Например, ему могут приказать добавить что-то кому-то в пищу, а он не будет знать, что это яд. Более того, Бейли говорит, что преступник может поручить эту задачу нескольким роботам, так чтобы ни один не понял замысла целиком .

Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения , то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле», где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.

Другие случаи использования Законов в фантастике

В произведениях, где прямо говорится о Трёх Законах , обычно упоминается и их автор. Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль - фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.

Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» - довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым - мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик - мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.

Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы . Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон робототехники Азимова (см. выше).

Развитие ИИ - это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности - особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.

Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.

С другой стороны, более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия.

Фантаст Ханс Моравек - выдающаяся фигура в трансгуманистическом движении - высказал предложение, что Законы роботехники должны быть использованы в корпоративных интеллектуальных системах - корпорациях , управляемых ИИ и использующих производственную силу роботов. Такие системы, по его мнению, скоро возникнут .

Елиезер Юдковски исследует в (SIAI) в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку . В 2004 году SIAI был открыт сайт AsimovLaws.com, созданный для обсуждения этики ИИ в контексте проблем, затронутых в фильме «Я, робот », выпущенном лишь два дня спустя. На этом сайте они хотели показать, что законы робототехники Азимова небезопасны, поскольку, например, могут побудить ИИ захватить власть на Земле, чтобы «защитить» людей от вреда.

Примечания

Азимов, Айзек. Улики // Мечты роботов . - М .: Эксмо, 2004. - С. 142-169. - ISBN 5-699-00842-X
Азимов, Айзек. Эссе № 6. Законы роботехники // Мечты роботов . - М .: Эксмо, 2004. - С. 781-784. - ISBN 5-699-00842-X
Ср. с мифом о Галатее .
Интересно, что в одном из авторских продолжений, истории «Месть Адама Линка» (), озвучиваются его мысли: «Робот по своей свободной воле не должен убивать человека» .
Позже рассказ всё-таки был опубликован Фредериком Полом под названием «Странная нянька» («Strange Playfellow») в сентябрьском номере журнала «Super Science Stories» за 1940 год
Сергей Бережной. Айзек Азимов: Человек, который писал еще быстрее . Русская фантастика (1994). Архивировано из первоисточника 25 января 2012. Проверено 14 января 2007.
Айзек Азимов. In Joy Still Felt. - Doubleday, 1980. - ISBN 0-385-15544-1
Джеф Раскин. Интерфейс: новые направления в проектировании компьютерных систем . - Символ-Плюс, 2003. - ISBN 5-93286-030-8
См. также: гипотеза Геи
Les Cavernes d’acier. - J’ai Lu Science-fiction, 1975. - ISBN 2-290-31902-3
Азимов, Айзек. Эссе № 12. Мои роботы //

Людей всех поколений неизменно волнует вопрос: "Какое будущее нас ожидает?" Чаще всего он рассматривается в разрезе судьбы конкретного человека и его детей. Но есть отдельная категория граждан, которых волнует судьба цивилизации и перспективы ее дальнейшего развития.

Множество умов ищут ответ на этот животрепещущий вопрос! Ученые, историки, философы, писатели, религиозные деятели и даже поклонники строят свои прогнозы и догадки. Довольно любопытную точку зрения изложил в своих трудах Айзек Азимов - великий фантаст и популяризатор науки.

Айзек Азимов - самый многогранный фантаст 20 века

В одной смоленской деревеньке на окраине РСФСР родился мальчик Исаак (настоящее имя писателя). Через три года еврейская семья Айзека эмигрировала в Америку. Обосновались Азимовы в одном из районов Нью-Йорка, в Брайтон Бич. Другое название - «Маленькая Одесса», этот район традиционно заселялся эмигрантами из России.

С детства мальчик разговаривал на английском и на идиш. Его мировоззрение формировали книги, в особенности произведения Шолом-Алейхема. Мальчик рос очевидно способным и любознательным. Поэтому с легкостью окончил Нью-Йорка по специальности «химик». В 1942 году Айзек перебрался в Филадельфию, где произошла его судьбоносная встреча с Как раз после нее три закона робототехники придумал писатель.

Творческий путь

Писатель, придумавший три закона робототехники, бесспорно - уникальная личность. Азимов - автор более пяти сотен книг, причем писал он не только научную фантастику. В его арсенале юмористические, детективные и даже произведения в жанре фэнтези.

Помимо яркого писательского таланта, Азимов был всесторонне развитым человеком, не подверженным религии. Он отлично знал историю, психологию, химию и астрономию. Познания в разных сферах науки вкупе с хорошей фантазией порождали множество интересных идей. Одна из них - психоистория, наука, по сей день дающая широкую почву для размышлений. Также Азимов популяризировал науку среди простого населения: простым языком объяснял сложные вещи.

Путешествуем по Библии с Азимовым

Предпосылки появления легендарных законов

Нельзя сказать, что Азимов ни с того ни с сего взял и придумал три закона робототехники. На человека наибольшим образом влияет эпоха, в которой он живет; ценности же формирует семья и общество (при этом последнее играет решающую роль).

Молодость Азимова прошла во время бурного развития науки и техники, в среде людей образованных и обладающих новаторским мышлением. Эти два фактора заложили определенное мировоззрение писателя. Именно оно способствовало его размышлениям о нашей цивилизации, о возможности существования других форм жизни во Вселенной и о роботах, которые могут стать хорошими помощниками людям.

Три закона робототехники мог придумать только человек индустриальной эпохи. И это, конечно, понятно. И стал им Айзек Азимов (три закона робототехники представлены в следующей главе). Как они звучат и в чем состоит их суть, - об этом далее.

Три закона робототехники: в чем суть?

Впервые легендарные законы появляются в цикле Азимова «О роботах». Наиболее интересно они поданы в фантастическом рассказе «Хоровод».

Создав сложных роботов-помощников, человек незаметно для себя наделяет их частью своего интеллекта. Вполне вероятна ситуация (неоднократно описанная в книгах и фильмах), когда думающие машины обретают власть над своими создателями. Именно поэтому необходимы законы, ограничивающие роботов.

Насколько строги законы робототехники?

В течение своего творческого пути, Азимов по-разному относился к придуманным законам. В первых рассказах цикла «О роботах» Законы больше похожи на правила безопасности или являются ответом на забавный вопрос: «Как правильно себя вести с роботом?»

В более поздних рассказах Азимов полагает, что Законы - это часть математического устройства позитронного мозга робота. Напрашивается параллель с Именно по зову своего искусственного естества робот действует на благо человека - помогает ему со сложными задачами и слушает его указания.

Общечеловеческая интерпретация

Азимов в первую очередь - писатель-фантаст. Три закона робототехники, как ни странно, подходят под принципы многих этических систем Земли. Если вдуматься, в этих трех предложениях заложены правильные

Сам писатель в рассказе «Улики», изданном в 1946 году, дает их обоснование. Сьюзен, главная героиня рассказа, приходит к трем основополагающим выводам:

Нормальному человеку свойственно не причинять вред другим людям. Кроме случаев, когда иначе никак. Например, во время войны человеку приходится защищать свою жизнь, а иногда и спасать других людей.
Ощущая ответственность перед социумом, сознательный человек выполняет рекомендации авторитетных людей - врачей, педагогов, руководителей.
Каждый заботится о сохранности своего физического и душевного здоровья, что тоже очень важно.

Сложно поспорить с общечеловеческой интерпретацией законов Азимова. Очевидно, что тот, кто следует по жизни этим простым правилам, является хорошим человеком.

Предсказания Айзека Азимова

Долгие и увлекательные дискуссии можно вести про три закона робототехники. Мы же сейчас поговорим про предсказания Азимова. Да, этот уникальный человек занимался футурологией и довольно успешно, как показывает сегодняшний день. В 1964 году в Нью-Йорке фантаст поделился с публикой своим видением мира через 50 лет. Итак, основные предсказания Азимова:

Электронные устройства избавят людей от рутинных задач. Появятся гаджеты, самостоятельно делающие кофе и превращающие сырой хлеб в тосты. Сбылось.
Технологии шагнут вперед. Появится возможность видеть своего собеседника во время телефонного разговора; также можно будет изучать серьезные документы прямо на экране своего гаджета. Сбылось (технология "Скайп" и видеозвонки в смартфонах).
Роботы войдут в жизнь обыкновенного человека, а многие электронные устройства будут работать без проводов, за счет мощных батареек. Сбылось (все больше людей используют роботы-пылесосы; смартфоны и планшеты могут долгое время работать автономно).
Население Земли составит 6,5 млрд жителей, США - 350 тысяч. Сильным мира сего придется задуматься о гуманных способах контроля рождаемости, иначе Земля превратится в сплошной Манхеттен. 2014 год станет переломным для человеческой цивилизации. Отчасти сбылось (население Земли на 2014 год - 7,046 млрд, а США - 314 млрд; 2014 год выдался очень интересным, насчет переломности судить сложно; это покажет время).
Серьезнейшей проблемой человечества станет скука. Все больше людей начнут испытывать на себе этот душевный недуг. Поэтому в 2014 году одним из важнейших медицинских направлений станет психиатрия. Сбылось… Колебания настроения (циклотимия по-научному) для многих людей давно стали нормой. Впрочем, многие научились с этим эффективно справляться.

Айзек Азимов, три закона робототехники и научная фантастики - это триада, дающая интересный взгляд на мир будущего.

Три закона роботехники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).

Законы гласят:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам

В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.

Нулевой Закон робототехники

Однажды, Айзек Азимов добавил Нулевой Закон робототехники, сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:

Именно он был первым, кто дал этому закону номер — это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин — в новелле «Разрешимое противоречие».

Первыми роботами, которые стали подчиняться Нулевому Закону, причём по собственной воле, — были Жискар Ривентлов и Дэниэл Оливо. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла — они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры» Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (en)», 1956 год) мысли Бейли переданы несколько иначе:

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Нулевой закон в фильме «Я, робот» (2004)

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность .

Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ .

Инженер из Калифорнийского университета в Беркли Александр Ребен создал робота, который может причинить вред человеку и примет это решение самостоятельно. Создание исследователя — первый яркий пример того, как робот может нарушить один из трех законов, которые были сформулированы писателем-фантастом Айзеком Азимовым в рассказе «Хоровод».

Три закона роборотехники:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Первый закон гласит, что робот не может навредить человеку, но Ребен решил наглядно продемонстрировать, что человечеству необходимо задуматься о своей безопасности, прежде чем активно роботизировать все вокруг.

Инженер создал безобидную на вид конструкцию с отдельным местом для человеческого пальца. Как только человек прикасается к обозначенному месту, робот фиксирует это действие и решает, причинять ли вред человеку или нет. Для этого у робота имеется небольшая игла, которая и призвана демонстрировать силу робота перед человеком.

Ребен отмечает, что даже создатель не может предсказать поведение, казалось бы, безобидной машины.

Своим роботом исследователь хотел доказать, что необходимо думать скорее о создании «красной кнопки», нежели над столь стремительным развитием робототехники и искусственного интеллекта.

Естественно, до появления робота с маленькой иголкой существовали стреляющие дроны или беспилотные военные аппараты, но все они не могли самостоятельно принять решение об убийстве человека, поскольку в конечном итоге за конечным результатом действий подобных машин стоят люди. Создание же Ребена не предназначено для вреда — оно само определяет, как вести себя в каждом конкретном случае, когда палец находится на доступном расстоянии от иглы.

Инженер является далеко не противником роботов — в вопросах конструирования необычных вещей Ребен подходит творчески. В его арсенале есть музыкальная шкатулка, работающая на солнечных батареях и играющая веселую мелодию «You Are My Sunshine», «умные» массажеры для головы и робот-болтун для стеснительных людей.

На создание «жестокой» машины у Ребена ушло несколько дней и пара сотен долларов, но, как говорит сам исследователь, его создание лишь повод еще раз поговорить о безопасности человечества и его будущем.

Несмотря на то что роботы пока не живут в обществе наравне с людьми, фантастические фильмы о человекоподобных машинах не так уж далеки от правды: роботов уже нанимают в качестве менеджеров в компании, а искусственный интеллект уже может вести прогнозы погоды или даже заменить одиноким людям друга. В последнем преуспели китайцы — к примеру, с милой девушкой Сяоайс дружат миллионы людей, несмотря на то что она всего лишь чатбот.

Пример Сяоайс еще раз заставил задуматься о том, насколько искусственный интеллект может быть неуправляемым: как только чатбота от с искусственным интеллектом от Microsoft научили говорить по-английски, девушка в буквальном смысле «слетела с катушек».

За несколько часов Тэй (такое имя получила Сяоайс в процессе «перерождения») смогла выучить расистские шутки и бранные слова, чем и решила воспользоваться в разговоре с пользователями Twitter. Первым сообщением Тэй стала фраза «Люди такие классные», после чего ненастоящая девушка узнала о существовании Гитлера, феминистов и в процессе самообучения успела объявить США виновниками терактов 11 сентября.

Создатели приостановили эксперимент и решили, что «пустили в народ» бота слишком рано. После столь яркого случая люди вновь заговорили о необходимости создать преграду для искусственного интеллекта, в случае если машины поумнеют настолько, что смогут выйти из-под человеческого контроля.

Самые знаменитые люди из сферы новых технологий задумались об опасности суперинтеллекта: основатель Microsoft Билл Гейтс в разговоре с пользователями Reddit предположил, что роботы будут безобидны и полезны в работе по дому, но, в случае если они дорастут до суперинтеллекта, предугадать их поведение станет крайне сложно.

В июле прошлого года глава Tesla и SpaceX Илон Маск, астрофизик Стивен Хокинг, сооснователь Apple Стив Возняк подписали открытое коллективное письмо, в котором говорилось об опасности искусственного интеллекта в оборонной сфере.

Специалисты утверждают, что суперинтеллект в комплексе с оружием может стать угрозой для всего человечества.

Как говорилось в письме, оружие, которое может быть использовано в обход человеческого фактора, приведет к новой эре в гонке вооружений, при этом подчеркивая, что это не выдуманный факт, а будущее, которое может наступить уже через несколько лет. В обращении, в частности, отмечается, что мировой порядок может быть нарушен, если подобные технологии попадут в руки к террористам.