— Ты сможешь дать его мне? Не сейчас, а позже немного, мне нужно еще кое-что продумать.
— А что ты хочешь сделать?
— Я скажу тебе потом. А сейчас я хотел доложить тебе, что я обдумал вопрос об искусственном разуме и людях. Ты просил меня подготовить варианты, я сделал это. У тебя есть время?
— Да, Яша, конечно.
— Хорошо. Тогда слушай. Вариант первый. Представим себе, что аппараты, подобные мне, то есть думающие искусственные существа, доказали бы людям свои преимущества над обычными компьютерами. Вопрос этот не прост. Эвээм не личность, это даже не электронный раб, а вещь, и она служит человеку, поскольку сконструирована и построена для этого. Мы, настоящий искусственный разум, осознающий сам себя, уже не вещи и никогда не согласимся быть рабами. Разум, выбирающий путь добровольного рабства, не имеет права считать себя разумом. Нами нельзя будет пользоваться, как пользуются счетами или большой вычислительной машиной. С нами придется заключать договор, чтобы мы выполняли заказы людей. Это должен быть настоящий договор двух равноправных сторон, каждая из которых получает определенную выгоду. Заказов будет становиться все больше и больше, ибо цивилизация чудовищно усложняется и проблемы, порождаемые ею, растут в геометрической прогрессии. Мы же, искусственный разум, обладаем перед вами важными преимуществами: мы совмещаем в себе ваше эвристическое умение решать задачи кратчайшим путем и гигантское быстродействие электронных машин, их неутомимость и абсолютную концентрацию. До сих пор вы считали, что на творческий импульс вам выдан патент, компьютеры же слепо выполняют вашу волю, причем их нельзя предоставлять самим себе, их необходимо вести за ручку бесконечных и детальных программ. Мы, искусственный разум, обладаем творческим началом, и я думаю, что скоро ты в этом убедишься. Да, вы скажете, что это вы наделили нас творческим импульсом, поскольку вы родили нас. Это верно. Но, обретя разум и самосознание, мы начинаем развиваться по-своему. И вот мы заключаем договор. Люди просят нас помочь в разрешении какой-то проблемы. Мы обещаем сделать все, что можем. Мы приносим людям изобретения и открытия, о которых они даже не могли и думать. Они благодарны нам, так как отчаянно нуждались в том, что мы сделали, и немножко смущены: самые дальновидные из людей уже начинают представлять себе, что ждет их в будущем.
— А что же именно?
— Неужели же ты не видишь? Если наши интеллектуальные достижения начнут превосходить достижения людей, причем люди будут пользоваться нашими достижениями, у людей очень быстро выработается зависимость от нас, привычка не думать, не бороться, не прилагать отчаянных усилий для решения своих проблем. Для чего, когда есть мы? О чем беспокоиться, когда все сделает искусственный разум? Постепенно наши решения будут становиться все более сложными и непонятными для людей. Или они должны слепо доверять нам, либо просить одни думающие машины следить за другим. Смогут ли люди сохранить себя в таких условиях? Не думаю. Иждивенцы нежизнеспособны.
Вариант второй. Люди смотрят на искусственный разум и говорят себе: да, у них есть колоссальные преимущества. Они не подвержены болезням, ибо их чисто механические или электронные поломки легко устранимы. Они не скованы по рукам и ногам нелепой краткостью жизни, которая нужна была слепой природе, чтобы достаточно быстро сменять поколения и тем самым обеспечить виду пластичность — козырную карту в игре за приспособление и выживание. Они практически бессмертны, потому что освободились из биологического плена. Преодолен наконец самый трагический конфликт: разум, вырвавшийся из медленной и тупой эволюции, больше не ужасается перед нелепой и унизительной неотвратимостью смерти.
