Довольно трудно думать о компьютерах, представляя себе вариант, когда они могут «захватить» наше место.
Заменят ли они нас, превратят ли в какой-то пережиток, выбросят ли на свалку, как мы в свое время расправились с копьями и трутницами?
Если мы представим себе компьютерный мозг внутри металлической имитации человека, которую мы называем роботом, страх окажется еще более ощутимым. Роботы так напоминают людей, что один только их внешний вид может послужить причиной возникновения у них мятежных мыслей.
Эта проблема стала одной из самых популярных в мире научной фантастики в 1920-1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей.
Когда я был молодым человеком, мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода, поскольку мне представлялось, что робот – это всего лишь машина, а люди постоянно строят машины. Учитывая, что все машины так или иначе представляют для нас опасность, мы специально встраиваем в них самые разнообразные защитные устройства.
В 1939 году я начал серию рассказов, в которых с симпатией описывались тщательно сконструированные машины, выполнявшие определенные задачи, причем в каждой из машин имелось встроенное устройство, обеспечивающее их миролюбие.
В рассказе, написанном в октябре 1941 года, я наконец дал имя этому защитному устройству – Три закона роботехники. (Я изобрел термин «роботехника», который до тех пор никогда и нигде не использовался.) Они звучат так:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые отдает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам.
Эти законы внесены в компьютеризированный мозг робота и явились темой многих моих рассказов, посвященных роботам. По правде говоря, они так понравились читателям и звучали так разумно, что другие писатели-фантасты начали использовать их (никогда не цитируя напрямую – в отличие от меня), и все старые рассказы о роботах, уничтожавших своих создателей, просто умерли.
Ну, это научная фантастика. А как насчет работ по созданию сложных компьютеров и искусственного интеллекта, которые проводятся учеными? Когда строятся машины, обладающие собственным разумом, будут ли в их сознание внедрены законы, подобные Трем законам роботехники?
Разумеется да, поскольку создатели компьютеров и сами обладают высокоразвитым интеллектом. Более того, защита будет не только иметь некоторое отношение к Трем законам – она будет на них опираться.
В тот момент, когда я придумал Три закона, я не понимал, что человечество уже давным-давно пользуется ими. «Три закона инструментов» звучат следующим образом:
1. Инструмент должен быть безопасным для использования. (Это же очевидно! У ножей и мечей имеются рукоятки. А инструмент, который может причинить вред тому, кто взял его в руки – если, конечно, человек знает об опасности, – никогда не будет использован, каким бы полезным он ни казался.)
2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
Никто никогда не цитирует эти три закона, поскольку все принимают их как должное. Каждый закон, если о нем говорят вслух, будет встречен дружным восклицанием вроде: «Ну, это же любому ясно!»
В таком случае давайте сравним «Три закона инструментов» c Тремя законами роботехники, и вы увидите, что они полностью совпадают. А разве может быть иначе? Ведь робот, или, если желаете, компьютер, является инструментом, которым пользуется человек.
Но можно ли сказать, что мы защищены от всех неприятностей в достаточной степени? Подумайте об усилиях, которые предпринимаются, чтобы сделать автомобили безопасными, – однако они продолжают убивать около 50 000 американцев в год. Подумайте об усилиях, которые предпринимаются, чтобы обезопасить банки, – однако ограбления продолжаются. Подумайте об усилиях, которые предпринимаются, чтобы защитить компьютерные программы, – однако количество компьютерного мошенничества растет.
Впрочем, если компьютеры станут достаточно разумными, чтобы «перехватить инициативу», они уже не будут нуждаться в ограничениях, предписываемых Тремя законами. И тогда по доброте душевной они решат заботиться о нас и оберегать от неприятностей и проблем.
Однако кое-кто из вас может возразить, что мы не дети и, как только возникнет необходимость нас охранять, мы лишимся своей человеческой сути.
