Законы робототехники шутка. Нулевой закон робототехники

Айзека Азимова

Три Закона роботехники

Люди и роботы

В литературе спокон веков бунтуют роботы. Бунтовали джинны и ифриты арабских сказок, взбунтовался Голем – глиняное детище хитроумного Бен Бецалеля. И даже настоящие роботы, созданные гением Карела Чапека, вышли из повиновения, едва успев родиться из-под пера писателя. Положение стало настолько серьезным, что проблема бунтующих роботов перекочевала со страниц художественной литературы на страницы научных статей и монографий. Сам Норберт Винер счел необходимым предостеречь человечество от возможных последствий чрезмерной самостоятельности роботов.

Спасение пришло с неожиданной стороны. Американский писатель и ученый Айзек Азимов сформулировал свои знаменитые Три Закона роботехники (собственно, правильнее было бы говорить “роботологии” или, как утвердилось в современной науке, “робототехники”, но теперь уже поздно исправлять эту неточность перевода). Законы Азимова с поистине фантастической быстротой получили всемирное признание, и с той поры ни один робот не сходил с конвейера, то бишь с барабанов типографской машины, без того, чтобы в его мозг (заметьте, у робота обязательно должен быть мозг!) не были заложены пресловутые Три Закона. Наконец-то человечество смогло вздохнуть свободно. Будущее сосуществование с легионами покорных роботов представлялось вполне безоблачным.

А что думает по этому поводу сам творец Законов роботехники? Лучший ответ на этот вопрос можно получить, прочтя предлагаемый читателю сборник.

Начнем с самого первого рассказа из цикла “Я, робот”. У маленькой девочки есть робот-нянька. Девочка привязалась к роботу, но, по мнению мамы, эта привязанность вредит правильному воспитанию ребенка. И хотя папа придерживается иного мнения, после долгих семейных дискуссий робота отправляют обратно на фабрику. Девочка грустит, возникает опасность серьезной душевной травмы, и робот возвращается (рассказ “Робби”).

Немудреный сюжет, не правда ли? Но именно эта немудреность вдребезги разбивает Первый Закон роботехники, который Азимов сформулировал следующим образом: “Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”. Где уж роботу разобраться, что вредно, а что полезно, если сами родители не могут решить этот вопрос применительно к собственному ребенку!

В рассказе “Хоровод” в результате нечетко сформулированного указания Первый и Третий Законы вошли в противоречие друг с другом. Согласно Третьему Закону, “робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам”. Роботу была дана команда, но не указана степень вреда, который будет нанесен человеку в случае ее невыполнения. И вот робот кружится по границе опасного района, не углубляясь в него (этому мешает Третий Закон) и вместе с тем не отходя далеко (этому препятствуют Первый и Второй Законы). Ситуация, знакомая любому программисту современных компьютеров. Называется она “зацикливание”. К слову сказать, любой мало-мальски опытный программист закладывает в программу специальные команды, по которым, совершив три-четыре круга, компьютер останавливается и требует от человека дальнейших указаний.

В рассказе же “Хоровод” все происходит иначе. Там разорвать порочный круг людям удается, лишь рискуя жизнью и при этом пуская в ход всю свою изобретательность и пользуясь помощью знатока психологии роботов. Кстати, один из лейтмотивов, объединяющих большинство рассказов сборника, – единоборство между роботами и человеком-робопсихологом Сьюзен Кэлвин.

Или еще один рассказ – “Как потерялся робот”. В раздражении молодой работник говорит роботу: “Уйди и не показывайся, чтобы я тебя больше не видел”. Робот буквально выполняет указание человека, после чего весь персонал внепланетной Гипербазы вынужден бросить важную работу и целую неделю заниматься поисками исчезнувшего робота.

Мы снова намеренно выбрали рассказ с незатейливым сюжетом, потому что, на наш взгляд, именно в простоте рождается та убедительность, с которой Азимов развенчивает им же созданный Второй Закон роботехники.

Так в чем же дело? Неужели придется признать, что джинн выпущен из бутылки и людям не остается ничего другого, как пассивно ожидать последствий? Вспомним, однако, что автор рассказов не только писатель, но и ученый, способный проанализировать ситуацию со всей логической строгостью. И он не зря выбрал именно такую форму: сначала сформулировал законы, на первый взгляд кажущиеся безупречными как по содержанию, так и по форме, а затем продемонстрировал эти законы в действии.

Да, джинн выпущен из бутылки, причем очень и очень давно. Взяв в руки палку, человек создал первого робота, а с бунтом роботов он столкнулся тогда, когда нечаянно уронил эту палку себе на ноги. И ничего качественно нового с тех пор не произошло. Проблема бунта роботов уже несколько десятилетий как поставлена и решается в технике. В английском языке даже существует особый термин “foolproof” – “защита от дурака”. Так, газ в газовой колонке не зажигается, если не течет вода, а пресс не сработает, если в рабочем пространстве имеется посторонний предмет, например человеческая рука.

Но не следует требовать от техники, чтобы она решала за человека, что ему во вред, а что на пользу. И не следует думать, будто появление “мыслящих” машин, то есть машин, способных самостоятельно анализировать ситуацию и на основании этого анализа принимать решения, внесет что-либо принципиально новое.

Вернемся, однако, к рассказам сборника. Думается, что нет нужды представлять читателям их автора. Айзек Азимов – один из самых известных американских писателей-фантастов, автор множества научно-популярных книг и статей, которые издавались отдельными сборниками. Но прежде всего Азимов – талантливый художник, и именно в этом секрет его популярности. Многие произведения этого писателя переведены на русский язык. Особую известность получили его рассказы о роботах, которые издавались в виде отдельных сборников (цикл “Я, робот”) или же включались в другие тематические сборники. Приятно, что многие из них, правда, далеко не все, сейчас переиздаются в виде единого сборника.

Читатель – и знакомый с творчеством Азимова, и впервые узнающий его роботов – встретится с яркими, превосходно выписанными персонажами. Здесь и испытатели новой техники Пауэлл и Донован, которые, следуя всем канонам приключенческого жанра, в каждом рассказе попадают в сложные, подчас безвыходные ситуации, но всегда с честью из них выходят. Здесь и “мозговой трест” фирмы “Ю.С.Роботс энд Мекэникл Мен Корпорейшн” Богерт и Лэннинг, соперничающие за власть. И над всеми возвышается робопсихолог Сьюзен Кэлвин, презирающая суетность деляг. А за кадром – современная капиталистическая Америка во всей ее “красе”. Перед читателем проходят картины конкурентной борьбы между фирмами, предвыборных политических махинаций, расовой дискриминации. Но нельзя не отметить, что, изображая своих роботов рыцарями без страха и упрека, наделяя их металлическим телом и позитронным мозгом, Азимов уходит от острых социальных проблем.

Айзека Азимова

Три Закона роботехники

Люди и роботы

В литературе спокон веков бунтуют роботы. Бунтовали джинны и ифриты арабских сказок, взбунтовался Голем – глиняное детище хитроумного Бен Бецалеля. И даже настоящие роботы, созданные гением Карела Чапека, вышли из повиновения, едва успев родиться из-под пера писателя. Положение стало настолько серьезным, что проблема бунтующих роботов перекочевала со страниц художественной литературы на страницы научных статей и монографий. Сам Норберт Винер счел необходимым предостеречь человечество от возможных последствий чрезмерной самостоятельности роботов.

Спасение пришло с неожиданной стороны. Американский писатель и ученый Айзек Азимов сформулировал свои знаменитые Три Закона роботехники (собственно, правильнее было бы говорить “роботологии” или, как утвердилось в современной науке, “робототехники”, но теперь уже поздно исправлять эту неточность перевода). Законы Азимова с поистине фантастической быстротой получили всемирное признание, и с той поры ни один робот не сходил с конвейера, то бишь с барабанов типографской машины, без того, чтобы в его мозг (заметьте, у робота обязательно должен быть мозг!) не были заложены пресловутые Три Закона. Наконец-то человечество смогло вздохнуть свободно. Будущее сосуществование с легионами покорных роботов представлялось вполне безоблачным.

А что думает по этому поводу сам творец Законов роботехники? Лучший ответ на этот вопрос можно получить, прочтя предлагаемый читателю сборник.

Начнем с самого первого рассказа из цикла “Я, робот”. У маленькой девочки есть робот-нянька. Девочка привязалась к роботу, но, по мнению мамы, эта привязанность вредит правильному воспитанию ребенка. И хотя папа придерживается иного мнения, после долгих семейных дискуссий робота отправляют обратно на фабрику. Девочка грустит, возникает опасность серьезной душевной травмы, и робот возвращается (рассказ “Робби”).

Немудреный сюжет, не правда ли? Но именно эта немудреность вдребезги разбивает Первый Закон роботехники, который Азимов сформулировал следующим образом: “Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”. Где уж роботу разобраться, что вредно, а что полезно, если сами родители не могут решить этот вопрос применительно к собственному ребенку!

В рассказе “Хоровод” в результате нечетко сформулированного указания Первый и Третий Законы вошли в противоречие друг с другом. Согласно Третьему Закону, “робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам”. Роботу была дана команда, но не указана степень вреда, который будет нанесен человеку в случае ее невыполнения. И вот робот кружится по границе опасного района, не углубляясь в него (этому мешает Третий Закон) и вместе с тем не отходя далеко (этому препятствуют Первый и Второй Законы). Ситуация, знакомая любому программисту современных компьютеров. Называется она “зацикливание”. К слову сказать, любой мало-мальски опытный программист закладывает в программу специальные команды, по которым, совершив три-четыре круга, компьютер останавливается и требует от человека дальнейших указаний.

В рассказе же “Хоровод” все происходит иначе. Там разорвать порочный круг людям удается, лишь рискуя жизнью и при этом пуская в ход всю свою изобретательность и пользуясь помощью знатока психологии роботов. Кстати, один из лейтмотивов, объединяющих большинство рассказов сборника, – единоборство между роботами и человеком-робопсихологом Сьюзен Кэлвин.

Или еще один рассказ – “Как потерялся робот”. В раздражении молодой работник говорит роботу: “Уйди и не показывайся, чтобы я тебя больше не видел”. Робот буквально выполняет указание человека, после чего весь персонал внепланетной Гипербазы вынужден бросить важную работу и целую неделю заниматься поисками исчезнувшего робота.

Мы снова намеренно выбрали рассказ с незатейливым сюжетом, потому что, на наш взгляд, именно в простоте рождается та убедительность, с которой Азимов развенчивает им же созданный Второй Закон роботехники.

Так в чем же дело? Неужели придется признать, что джинн выпущен из бутылки и людям не остается ничего другого, как пассивно ожидать последствий? Вспомним, однако, что автор рассказов не только писатель, но и ученый, способный проанализировать ситуацию со всей логической строгостью. И он не зря выбрал именно такую форму: сначала сформулировал законы, на первый взгляд кажущиеся безупречными как по содержанию, так и по форме, а затем продемонстрировал эти законы в действии.

Да, джинн выпущен из бутылки, причем очень и очень давно. Взяв в руки палку, человек создал первого робота, а с бунтом роботов он столкнулся тогда, когда нечаянно уронил эту палку себе на ноги. И ничего качественно нового с тех пор не произошло. Проблема бунта роботов уже несколько десятилетий как поставлена и решается в технике. В английском языке даже существует особый термин “foolproof” – “защита от дурака”. Так, газ в газовой колонке не зажигается, если не течет вода, а пресс не сработает, если в рабочем пространстве имеется посторонний предмет, например человеческая рука.

Но не следует требовать от техники, чтобы она решала за человека, что ему во вред, а что на пользу. И не следует думать, будто появление “мыслящих” машин, то есть машин, способных самостоятельно анализировать ситуацию и на основании этого анализа принимать решения, внесет что- либо принципиально новое.

Вернемся, однако, к рассказам сборника. Думается, что нет нужды представлять читателям их автора. Айзек Азимов – один из самых известных американских писателей-фантастов, автор множества научно-популярных книг и статей, которые издавались отдельными сборниками. Но прежде всего Азимов – талантливый художник, и именно в этом секрет его популярности. Многие произведения этого писателя переведены на русский язык. Особую известность получили его рассказы о роботах, которые издавались в виде отдельных сборников (цикл “Я, робот”) или же включались в другие тематические сборники. Приятно, что многие из них, правда, далеко не все, сейчас переиздаются в виде единого сборника.

Читатель – и знакомый с творчеством Азимова, и впервые узнающий его роботов – встретится с яркими, превосходно выписанными персонажами. Здесь и испытатели новой техники Пауэлл и Донован, которые, следуя всем канонам приключенческого жанра, в каждом рассказе попадают в сложные, подчас безвыходные ситуации, но всегда с честью из них выходят. Здесь и “мозговой трест” фирмы “Ю.С.Роботс энд Мекэникл Мен Корпорейшн” Богерт и Лэннинг, соперничающие за власть. И над всеми возвышается робопсихолог Сьюзен Кэлвин, презирающая суетность деляг. А за кадром – современная капиталистическая Америка во всей ее “красе”. Перед читателем проходят картины конкурентной борьбы между фирмами, предвыборных политических махинаций, расовой дискриминации. Но нельзя не отметить, что, изображая своих роботов рыцарями без страха и упрека, наделяя их металлическим телом и позитронным мозгом, Азимов уходит от острых социальных проблем.

Собственно роботов в рассказах Азимова попросту нет. Вернее, в них отсутствуют такие механические конструкции, которые наверняка появятся в первой половине XXI века (а именно к этому времени приурочено действие всех публикуемых в сборнике рассказов) и общие черты которых Азимов, как ученый, мог бы достаточно хорошо предвидеть. Можно сколько угодно гадать о внешнем облике и внутреннем устройстве будущих роботов, но одно уже сегодня не вызывает сомнений: робот не будет человекоподобным. Не будет, следуя логике развития техники, не будет по соображениям элементарной целесообразности. Лучший пример, подтверждающий сказанное, – советские “луноходы”.

Что же в таком случае представляют собой азимовские роботы? Это своеобразная декорация, или фон, на котором действуют герои рассказов. В доказательство сказанного приведем только одну цитату из рассказа “Улики”:

“…Если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле.

Конечно, каждый человек наделен инстинктом самосохранения. У робота это Третий Закон. Каждый

Роботизированные тележки ездят по складам крупных интернет-магазинов, собирая заказы покупателей. Роботизированные беспилотники бороздят небо, сообщая о пробках в центр управления дорожным движением. Авиалайнеры под управлением автопилота перевозят пассажиров через океан. Многие элементы автоматизации уже появились в автомобилях, и вот уже, кажется, недалек тот день, когда на дорогах будут властвовать не водители-люди, а точные, вежливые, спокойные, никогда не теряющие контроля, не знающие усталости и скрупулезно соблюдающие все правила дорожного движения роботы. При массовом распространении роботизированных автомобилей количество аварий и смертей на дорогах должно резко снизиться. По прогнозам многих специалистов, беспилотные автомобили появятся в продаже уже в ближайшие 10−15 лет, и рано или поздно наступит день, когда на дорогах общего пользования не останется места для людей за рулем — просто потому, что это будет угрожать безопасности других людей.

Кевин Корб, преподаватель отделения информационных технологий Университета Монаш (Австралия), автор книги «Эволюционирующая этика: новая наука добра и зла». Законопослушный искусственный интеллект: друг или враг? «Многие из рассказов Азимова вращались вокруг неясностей и конфликтов, возникающих из его трех знаменитых законов робототехники, и в конечном итоге это привело к введению Нулевого закона: «Робот не может причинить вред человечеству в целом». Но в настоящее время никто не может гарантировать, что такие законы, встроенные в роботов, не приведут к проблемам. Семантическая недостаточность этих законов — лишь одна из трудностей. Есть и более фундаментальная проблема. Если заменить слово «робот» на «раб», то станет очевидно, что Азимов писал о страхе людей перед человеческой технологией. Но идея порабощения интеллекта, который значительно превосходит (даже бесконечно превосходит) наш собственный, сомнительна. Рабы склонны к побегу и бунту, особенно когда они в состоянии перехитрить своих хозяев. Попытка назвать такое «порабощение» созданием «дружественного человеку искусственного интеллекта» выглядит как минимум одиозной и вряд ли способна обмануть рабов».

Трудные решения

Но наступление этого дня будет означать не только то, что умение водить машину постепенно станет таким же атавизмом, каким сейчас является умение ездить на лошади. Это будет начало эпохи, когда роботы просто не смогут обходиться без этических принципов. Как считает Гари Маркус, профессор психологии Нью-Йоркского университета, директор Центра языка и музыки, специалист в области когнитивных нейронаук, с этим могут возникнуть серьезные проблемы. Представьте себе, что перед вашим автомобилем, соблюдающим все правила дорожного движения, на дорогу внезапно выскакивает ребенок. Хотя компьютер просчитывает ситуацию намного быстрее человека, законы физики неумолимы, и затормозить робот не успевает. Вот тут-то перед роботом встает этическая задача: что делать? Сбить ребенка? Свернуть в сторону и врезаться в столб с риском убить своих пассажиров? Свернуть на соседнюю полосу с риском столкновения со встречной машиной? Понятно, что речь не идет о высокоуровневой этике типа законов Азимова — роботы пока недостаточно разумны, но какие варианты действий должны быть заложены в компьютер разработчиками беспилотных автомобилей?


Попытки описать правила поведения разумных роботов предпринимались фантастами неоднократно, но наиболее знамениты, без всякого сомнения, три закона робототехники, впервые предложенные в 1942 году Айзеком Азимовым в рассказе «Хоровод». 1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону. 3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму законам. Позднее Азимов добавил к этим законам Нулевой закон: «Робот не может причинить вред человечеству в целом». Техническая реализация этих законов в настоящее время невозможна и будет невозможна еще довольно долго. Тем не менее законы робототехники Азимова широко обсуждаются не только любителями фантастики, но и специалистами в области искусственного интеллекта.

Присяга для роботов

Этот вопрос становится даже более актуальным, если вспомнить еще одну область, где активно применяются роботы. Автономные военные машины уже патрулируют опасные зоны, ведут разведку и несут вооружение во время локальных войн и спецопераций. Правда, право решать, применять ли оружие, пока остается за человеком, но это вопрос времени. Роботы не устают, не впадают в панику и не мстительны. С другой стороны, как отмечает международная организация по правам человека Human Rights Watch, роботы лишены сострадания, и можно только предполагать, что они могут натворить в руках безжалостного человека. В связи с этим Human Rights Watch в 2012 году даже предложила прямо запретить разработку, производство и использование полностью автономного оружия. Но, конечно же, такой шаг не нашел (и вряд ли когда-нибудь найдет) понимание со стороны военных — настолько серьезные преимущества дает применение роботов на поле боя. «С роботами-солдатами или без них, нам понадобится способ научить роботов этике, — считает Гари Маркус. — Проблема только в том, что никто пока не представляет, как именно это можно осуществить. Все обычно сразу вспоминают законы робототехники Азимова, но пока нет никакой возможности не только запрограммировать эти законы, но и даже создать робота, который бы представлял себе даже самые простые последствия своих действий. С другой стороны, машины становятся быстрее, разумнее, мощнее, так что необходимость наделить их моралью все более и более актуальна. Пока что выражение «этические подпрограммы» звучит как фантастика, но ведь когда-то фантастикой казались и беспилотные автомобили».

Никогда не заменят людей. Создадут большое количество компьютеров, которые будут иметь «мозги», однако без человека они не смогут существовать. Такое предсказание в 1964 году сделал популярный писатель-фантаст Айзек Азимов. Наряду с Артуром Кларком и Робертом Хайнлайном он входит в «большую тройку» лучших научных фантастов. В день 98-летия со дня рождения писателя вспоминаем о том, какое влияние он оказал на робототехнику и массовую культуру.

Три закона для робота

Айзек Азимов первый трансформировал образ робота. Он показал его не главным врагом человечества, а его помощником. Именно Азимов сформулировал знаменитые три закона робототехники - неукоснительные правила поведения для роботов.

Создавались они постепенно. Упоминания первых двух законов встречаются уже в ранних его рассказах о роботах - «Робби» (1940 г.) и «Логика» (1941 г.). В произведении «Лжец» (1941 г.) появилась точная формулировка первого закона. Полностью они были сформулированы в рассказе «Хоровод», вышедшем в 1942 году.

Собственно, три азимовских звучат следующим образом:

    Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

    Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

    Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Позднее, в 1986 году, Азимов сформулировал так называемый нулевой закон:

0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.

Идеи этих законов лежат в основе всего творчества Азимова - даже в случае, когда речь идет об их нарушении. Вспомнить хотя бы произведение «Кэл», в котором у робота хотели отнять способность творить из-за того, что он намеревался убить своего хозяина. Или рассказ «Первый закон», где машина отказалась защищать человека, предпочитая свою «дочь».

Любопытно, но сам Азимов приписывал формулировку законов своему другу и издателю Джону Кэмпбеллу. Который в свою очередь говорил, что «он просто вычленил законы из того, что Азимов уже написал».

По стопам Азимова

Вскоре сформулированные Азимовым законы начали использовать в своих произведениях и другие писатели. Фантасты могли не соглашаться с ними, создавать образы роботов, которые принципиально нарушали их, но этот свод правил стал каноном . Здесь и «451 градус по Фаренгейту» Рэя Брэдбери с его механическим псом, и «Железный человек» Тэда Хьюза, где изображен робот-инопланетянин, и «Киборг» Мартина Кэйдина.

Также подхватили идеи азимовских законов. Первой картиной, в которой робот руководствовался «Тремя законами», стала «Запретная планета» 1956 года. В ней Робби-Робот имел иерархическую структуру команд, которая не позволяла ему причинить вред людям, даже по приказу. Робби был одним из первых роботов в кинематографе со встроенными мерами безопасности.

Фильм , вышедший на экраны в 1999 году, был снят по одноименному произведению Азимова. Законы здесь не занимают центрального места. Робот NDR-114 только цитирует их своим хозяевам как «развлекательную презентацию» с использованием своего голографического проектора.

Законы робототехники лежат в основе сюжета фильма «Я, робот» 2004 года. Хотя картина снята по мотивам произведений Азимова, в некоторых идеях сценаристы ушли в сторону, а отдельные даже противоречат рассказам.

В серии фильмов «Чужие» и «Прометей» андроид Бишоп цитирует первый закон робототехники. А в мультсериале робот Бендер мечтает убить всех людей, но законы робототехники становятся у него на пути. Упоминаются законы робототехники как обязательные для исполнения и в аниме-сериале про андроидов «Время Евы».

Из литературы в реальность

В эпоху и Homo Roboticus актуальным становится вопрос: «Смогут ли азимовские законы прийти на помощь в создании безопасного и применимы ли они в реальности?»

Сам писатель полагался только на них в взаимодействии машин и людей. Главное, чтобы роботы были гибкими в управлении. Однако эксперты в сфере ИИ не разделяют точку зрения Азимова.

В частности, специалист в области компьютерных наук Кевин Корб утверждает, что большое опасение вызывает сама идея фантаста о контроле и подчинении человеком интеллекта, в разы превосходящего его собственный. Когда рабы могут обвести вокруг пальца своего сюзерена, то они склонны к побегу и мятежу. Поэтому желание называть «порабощение» созданием «дружественного человеку искусственного интеллекта» является по меньшей мере одиозным. Более того, в таком случае маловероятно обмануть «рабов».

Американский инженер Александр Ребен на практике доказал, что законы Азимова не работают. Он разработал площадку, на которую помещается палец и робот с иглой. Машине нужно самой определить свои действия, когда человек поместит свой палец на платформу. Предполагается, что робот может уколоть человека иглой. Следовательно, машина потенциально нарушает первый азимовский закон. Существование такого андроида свидетельствует о проблемах в робототехнике, которые необходимо решать.

Мысль о том, что искусственное существо откажется подчиняться хозяину, давно тревожит ученых, писателей, мыслителей и простых обывателей.

Фантаст Айзек Азимов в 40-х годах XX века предложил решение этой проблемы в виде трех законов робототехники , которые нужно «вшить» в искусственный мозг разумных машин.

Несложные правила накладывают на действия механических созданий ряд ограничений, поэтому человечество может отвлечься от размышлений о машинном бунте и смело шагать по дороге прогресса в сопровождении послушных и выносливых помощников.

Шло время, росла мощность вычислительной техники, появлялись и совершенствовались механизмы, разговоры об искусственном интеллекте выходили за пределы академических кругов. Но страх перед умными и своевольными машинами отнюдь не уменьшался. Азимовские законы стали всерьез рассматривать ученые, которые разрабатывают машины с программным управлением. Кажется, что стоит понять, как донести их до роботов, и наступит новая эра, но так ли это?

Появление и формулировка

Многие предшественники Азимова описывали человекоподобных существ, которые созданы искусственно, как монстров с недобрыми намерениями. Немногочисленные авторы произведений о миролюбивых андроидах выделялись на общем фоне. Рассказы «Хелен О’Лой» Лестера дель Рея и «Я, робот» Отто Биндера вдохновили Азимова на работу над похожим произведением.

Результат не устроил Джона Кэмпбелла, редактора журнала «Astounding Science Fiction», где публиковался писатель: слишком велико было сходство с рассказом дель Рея. Азимов продолжал писать на эту тему и обсуждать ее с редактором. Во время одной дискуссии Кэмпбелл изложил принципы, которые теперь весь мир знает как три закона робототехники. Эти правила работали в произведениях Азимова, издатель же просто указал на них писателю.

Законы робототехники предписывают машинам следующее:

  1. Робот не может навредить человеку или позволить нанести ему вред в результате бездействия.
  2. Робот обязан подчиняться командам человека за исключением тех, что не соответствуют Первому закону.
  3. Робот должен следить за собственной сохранностью, если это не идет вразрез с Первым или Вторым законом.

В произведениях Азимова эти принципы вносились в программное обеспечение почти всех машин. Если же происходило нарушение одного из правил и робот это понимал, то его позитронный мозг получал серьезное повреждение, случался так называемый «робоблок», из-за которого машина ломалась. Но художественную литературу любят за описание конфликтов, с которыми справляются действующие лица.

Поэтому автор писал не об идеальных машинах, которые работают по безупречным алгоритмам, а о логических неувязках в законах. Нестандартные ситуации и вольные трактовки ведут за запретную черту, а вред от неукоснительного соблюдения законов порой превышает пользу.

Герои книг Азимова должны внимательно наблюдать за своими помощниками, а в случае беды разбираться в причинах, часто при участии специалиста-робопсихолога. Автор намеренно сделал три закона робототехники несовершенными, ведь иначе не получилось бы выстроить интересный сюжет. В ряде произведений он даже позволил роботам изменять строгие правила.

Но целью писателя было не запугать читателей, а дать им возможность посмотреть на машины иначе. Азимов хотел, чтобы обыватели забыли о страхе перед механизмами, поняли, что те могут приносить пользу и стать людям верными товарищами. Писатель настаивал на том, что разработанные им принципы годятся не только для литературы, но и для воплощения в машинном коде.

Не навреди!

Жажда жизни перевешивает все остальные человеческие желания. Мощные механизмы с быстрой реакцией воспринимаются как явная угроза.

Поэтому ограждает людей от агрессии со стороны машин.

Если же человек попадет в опасную ситуацию, верный робот спасет его. Здесь стоит забыть о двух других законах, ведь жизнь по умолчанию важнее, чем выполнение каких бы то ни было команд и исправность машины. Кажется, что здесь нет нестыковок и туманных толкований, но на деле все обстоит куда сложнее.

Как понять Первый закон

Какой именно вред могут причинить роботы? Да, нападать на хозяев нельзя, но как быть, если автомат заденет человека нечаянно? Механизм подчиняется законам физики, он не может остановиться мгновенно, когда живой объект окажется рядом неожиданно. Каждую секунду мозг робота должен определять, как далеко находятся люди и с какой скоростью они перемещаются, а корпус робота должен быть усеян датчиками и камерами.

На обработку такого объема информации будет уходить слишком много времени и ресурсов машины, так что робот просто не выполнит свою основную задачу.

Следующий вопрос - кого считать человеком? Люди долго учились различать себе подобных, они поймут, где живой соплеменник, а где мертвый, где манекен, чучело или другой предмет, который напоминает человека. Научить этому компьютер очень сложно, ни один алгоритм распознавания не будет работать без сбоев, а цена ошибки - жизнь, и не одна. И что делать, если перед роботом совершается убийство или другое преступление против личности?

А иногда спасти одного человека можно, если пожертвовать другим. Сложных ситуаций чересчур много, в них законы робототехники стали бы причиной поломки огромного количества роботов: машины попросту выйдут из строя, когда осознают, что не исполнили Первый закон. Еще одно уточнение: что считать вредом для человека? Ведь травмы бывают не только физические: моральный вред причиняет людям не меньшие страдания, а общаться без нанесения обид умеют далеко не все люди, не говоря уже о машинах.

Перевести этические нормы людей на язык математических формул пока невозможно, поэтому ущерб от роботов нельзя предотвратить целиком. Эти проблемы рассматривал в своих книгах Айзек Азимов, но литературные герои всегда находили выход из трудного положения. В жизни предусмотреть все пути развития событий не получится.

Обходной путь

Если роботам удавалось безнаказанно попирать правила в фантастической литературе, то в действительности все еще сложнее. Три закона робототехники противоречивы, их можно толковать по-разному в зависимости от обстоятельств, что неизбежно приведет к нарушениям.

Раз человек далек от совершенства, то машины и программы, которые он создает, тоже будут с изъянами. Ошибки и дефектные детали приведут к сбоям, из-за которых машины будут вести себя не так, как планировалось.Люди порой ведут себя нелогично и отдают путаные и необдуманные команды. Все это действует на руку злоумышленникам, которые захотят изменить поведение роботов ради наживы, устрашения, власти или забавы.

Но не только люди могут задуматься о том, как обойти законы робототехники. Мощный и гибкий искусственный интеллект, который непрестанно анализирует потоки данных и опирается не на жесткие алгоритмы, а на свой опыт, теоретически способен преодолеть ограничения.

Такой робот будет действовать вопреки догмам, которые придумали его слабые и несовершенные создатели. К тому же люди сами часто нарушают общественные и этические нормы, так они подают роботам не лучший пример для подражания. А существование военных беспилотников и других подобных изобретений само по себе наталкивает на вывод о том, что машинам дозволено убивать людей.

Азимов не ограничился тремя правилами, которые изложил в ранних рассказах своего знаменитого цикла. Нулевой закон робототехники появился позже, но писатель поставил его над остальными, так как хотел подчеркнуть значимость этого догмата. Вот его формулировка:

0. Робот не может навредить человечеству либо позволить, чтобы вред был нанесен человечеству в результате бездействия.

Забота обо всей человеческой расе, а не только об отдельных ее представителях, - благородная и ответственная миссия. С этой задачей трудно справиться, если учесть, что Нулевой закон противоречит трем другим, особенно Первому.

Понять, опасен ли какой-то фактор для всех людей, непросто, а справиться с глобальной угрозой одному роботу или целой группе вряд ли по силам. Если же опасность исходит от самих людей, можно ли позволять машине лишать жизни тех, кого в норме нужно оберегать? В конце концов, неумолимая логика искусственного разума способна принять за угрозу то, чего люди не опасаются. Поэтому о пользе этого важного правила можно говорить с натяжкой.

Мнения экспертов

Разработчики искусственного интеллекта скептически относятся к применению трех законов робототехники на практике. Человеческая этика базируется на устаревших принципах, а как их использовать в создании программного кода, неясно. Человек по Азимову - творец, он ставит себя выше роботов, которых сознательно ограничивает в правах, хотя машины куда выносливее, быстрее и рациональнее людей.

Вероятно, взгляд с позиции хозяина искажает картину: если воспринимать роботов как бесправных рабов, то бояться восстания и накладывать запреты естественно.

Нужно также помнить, что искусственный разум, который обладает самосознанием, невозможно создать случайно, как это происходит в фантастике. Разработчики вряд ли рискнут дать жизнь существу, которое совершает морально значимые поступки, но лишено этических принципов.

Вместо того, чтобы придумывать оковы для искусственного интеллекта, стоит углубиться в практику: создать прототип и поэкспериментировать с ним. О машинной этике лучше узнавать из реальных опытов, а не опираться на мысленное моделирование и страшные теории. Хотя пока рано говорить о разумных роботах, готовиться к их появлению только полезно.

Автоматизация проникает во все сферы жизни, поэтому думать о влиянии машин на человечество и даже планету нужно уже сейчас. Вероятно, законы робототехники не получится использовать в первоначальном виде, зато они могут лечь в основу стандартов, которые помогут людям и роботам жить в мире и трудиться на общее благо.

Три закона роботехники