– Когда искусственный интеллект сам разрабатывает программы, – пояснил Давид, – он делает это на базе критериев, заданных людьми. Какие критерии были ему заданы?
Наступила пауза.
– Как вы понимаете, критерии задавал не я. Но я уточнил, потому что подозревал, что вы зададите этот вопрос.
– И?
– Эти критерии – оптимизация личного счастья человека и интересов общества в целом. В этом и состоит линия поведения нынешнего и многих предыдущих правительств, и вам это должно быть известно.
– А если два критерия несовместимы?
Давид заподозрил неладное.
– Почему вам так хочется, чтобы они были несовместимы?
– Исследования Робера Соло, вероятно, привели бы к пересмотру нашей модели общества, и вы это прекрасно понимаете. К тому же Робер, видимо, делился соображениями со своей ассистенткой, моей кузиной. Все разговоры расшифровываются алгоритмами, а они могли выявить угрозу обществу.
– Я полагаю, – с усмешкой заметил министр, – что вы немного преувеличиваете. Вас подводит чересчур богатое воображение.
Задетый за живое, Давид поднялся и подался к министру через стол:
– После смерти Робера Соло на меня вышли агенты Управления внешней разведки. Они хотели прибрать к рукам его отчеты, которые предположительно хранятся на территории Изгоев. Так что они знали, о чем там речь. Я бы удивился, если бы вы были не в курсе.
В ответ министр только вздохнул. Снова воцарилось молчание, и Давид опять сел.
– Ну хорошо, – вдруг не выдержал министр. – Прежде чем вы вообразите себе государственную измену или какой-нибудь заговор, я вам расскажу всю правду.
«В добрый час, – сказал себе Давид. – Началось…»
– Прежде чем пригласить вас, я проверил программу, управлявшую регулятором эмоций, чтобы понять, что случилось с Робером Соло. Вам не понравится то, что вы услышите, и поэтому я прошу вас не предавать эти сведения огласке – они могут зря напугать людей и сделать их несчастными. Мы в любом случае соберем совет министров, чтобы все обсудить.
Давид нахмурился. Он впервые слышал в голосе министра нотки настоящей искренности.
– Я вас слушаю.
– Как я уже сказал, искусственный интеллект постоянно дорабатывает алгоритмы наших машин. В том, что касается регулятора эмоций, проверка показала, что, когда пожилой человек долгое время испытывает физические или психологические страдания, современная версия программы, доработанная искусственным интеллектом, помогает ему… пока он не перестанет страдать совсем.
Пауза.
– То есть вы хотите сказать…
– Именно.
Давид сглотнул. Тишина снова обрушилась на кабинет.
– Я понимаю ваше беспокойство, – сказал наконец министр, – но призываю вас посмотреть на общую картину.
Давид поднял на него глаза:
– То есть?
Министр снова вздохнул:
– Не хочу вас шокировать и не пытаюсь оправдывать программу в ее новой версии, но, если посмотреть на общую картину, мы видим некую… я бы сказал, мудрость… но нет, скажем иначе: здравомыслие…
Давид вытаращил глаза.
– Мы, люди, – продолжил министр, – часто пребываем в состоянии аффекта, и, естественно, это вредит нашей способности рассуждать здраво…
– И? – недоуменно скривился Давид.
– Есть старики, пребывающие в добром здравии, – пенсия им в радость, они продолжают потреблять и наслаждаются жизнью на полную катушку. Но за определенной чертой они только страдают и уже не могут быть счастливы. Не медвежья ли эта услуга – поддерживать в них жизнь? Вопрос заслуживает быть заданным…
Поскольку Давид потерял дар речи, министр продолжил:
– И ведь есть еще интересы общества в целом. С точки зрения экономики пенсионер в хорошей форме тратит деньги и тем самым вертит систему. Старик со слабым здоровьем сидит дома, потребляет немного, а вот обществу стоит довольно дорого: ему требуются лекарства, уход… И все это – без малейшей надежды на ремиссию. Не лучше ли уйти чуть раньше от передозировки серотонина, счастливым, с улыбкой на губах и не зная, что с тобой происходит?
Он выдержал паузу и прибавил:
– Видите ли, вот поэтому искусственный интеллект так интересен: он не знает чувств, свободен от человеческого контроля, великолепно рационален и умеет принимать за людей наилучшие решения. Решения, которых они сами принять не в состоянии.
Домой Давид вернулся удрученным и очень растерянным. До последней минуты он верил в эту построенную на прогрессе модель общества.
«Но, несомненно, – говорил он себе, – наши умы на бессознательном уровне менялись из поколения в поколение. Промышленная революция девятнадцатого века внушила нам, что эволюция тождественна технологическому прогрессу. Но разве настоящий прогресс не есть прежде всего прогресс гуманитарный, личностный, интеллектуальный, культурный, моральный, духовный? За многие века все это постепенно вытеснял прогресс технологический. И души засыхали, как засыхают растения, которые перестали поливать, зато ветки заменили обрубками, до отказа набитыми электроникой».
