– Именно гибкость программных функций позволила тебе придать своему созданию элемент неуверенности.
– Не понимаю, – Карли нахмурилась. – Ты хотела сделать Еву
Джейсон начал объяснять, но Карли подняла руку, призывая его замолчать, и устремила вопросительный взгляд на Мару.
Та приняла брошенную перчатку.
– Неуверенность – ключевой аспект человеческого мышления. Не будь неуверенности, мы никогда не сомневались бы ни в себе, ни в своих решениях. Всегда были бы абсолютно убеждены в собственной правоте. Именно такая несокрушимая уверенность в себе делает искусственный интеллект потенциально опасным. А вот если он способен сомневаться, значит, начинает внимательно рассматривать собственные решения и действия, спрашивать себя об их последствиях и тщательно их проверять. Так он начинает понимать концепцию вероятности – в особенности запутанные взаимоотношения между причиной и следствием.
Джейсон кивнул.
– И это означает…
– Я знаю, что это означает! – оборвала его Карли. – Нет нужды растолковывать мне очевидное!
– Джейсон и не пытался что-то тебе растолковывать… – попыталась успокоить подругу Мара, но ее вмешательство лишь усилило раздражение Карли.
– Не важно, – отрезала она.
Джейсон попытался уйти от конфликта.
– Кажется, мы отклонились от темы. Мара, минуту назад ты спрашивала, стоило ли тебе создавать Еву. На мой взгляд, безусловно! Это самое лучшее, что ты могла сделать.
– Почему?
– Иначе ты обрекла бы себя на ужасную участь.
– Обрекла себя? Как? На что?
– Слышала когда-нибудь о Василиске Роко?
Мара покачала головой и взглянула на Карли. Та пожала плечами, явно не желая признавать свое невежество, однако любопытство заставило ее придвинуться ближе.
Джейсон вздохнул и потер подбородок.
– Тогда, может быть, и не стоит вам рассказывать. На свете есть вещи, о которых лучше не знать… и потом, не хочу услышать, что я растолковываю вам очевидное.
С этими словами он бросил выразительный взгляд на Карли, и Мара невольно улыбнулась.
– Ладно, – фыркнула Карли. – Расскажи, что это за Василиск Роко и почему, черт возьми, о нем лучше не знать.
– Хорошо. Но помните: я вас предупредил!
Карли скрестила руки на груди. Этот парень безумно ее раздражал – она сама не понимала, почему. Верно, он милый и с приятными манерами; но неужели, черт возьми, они с Марой пережили нападение в аэропорту, засаду в гостинице, похищение под дулом пистолета лишь для того, чтобы теперь их опекал какой-то секретный американский спецназ, и в его составе – самоуверенный мальчишка-эксперт?
Кто на ее месте не разозлился бы?
Хм… а вот подруга, похоже, совсем не злится.
Мара с этим парнем сразу сошлась. Уже в машине они принялись обсуждать какие-то технические проблемы, быстро нашли общий язык и теперь улыбались друг другу, как лучшие друзья. Не ускользнула от Карли ни застенчивая улыбка Мары, ни то, как она поправляет свои черные волосы и бросает на Джейсона быстрые косые взгляды.
Все это вызывало странные чувства: то ли Карли стремилась защитить подругу, то ли попросту ревновала. Во всяком случае, ей хотелось, чтобы Джейсон оставил их в покое и вернулся к своей группе. А когда Мара, нагнувшись, как бы невзначай положила руку ему на колено, Карли едва не вскипела от злости.
Гневно смотрела она на руку Мары, вспоминая тепло и мягкость ее ладони. Мара же не замечала чувств подруги; ее взгляд был устремлен на симпатичного американца, и легкая улыбка играла на ее полных губах.
– Что ж, – сказала она, – я готова рискнуть. Расскажи о Василиске Роко.
– Это мысленный эксперимент, опубликованный на форуме Элиезера Юдковски, программиста из Калифорнийской исследовательской сети.
– Юдковски? – удивленно раскрыв глаза, повторила Мара.
– Ты его знаешь? – спросил Джейсон.
Мара повернулась к Карли.
– Помнишь, я рассказывала тебе об эксперименте «Искусственный интеллект в тюрьме»?
Та кивнула.
– Это когда какой-то парень притворился суперкомпьютером и начал уговаривать охранные программы выпустить его из цифровой тюрьмы?
– Вот именно, – Мара улыбнулась. – Тот человек, которому каждый раз удавалось обмануть «сторожей» и ускользнуть, и был Юдковски.
Карли нахмурилась.
– Хорошо, и что за мысленный эксперимент у него на форуме?
– Он постулирует, – начал объяснять Джейсон, – что искусственный суперинтеллект неизбежно будет создан, быстро эволюционирует и разовьется до богоподобного состояния, станет почти всемогущим. Одним из важнейших мотивов этого нового искусственного бога станет стремление к совершенству, к улучшению себя и всего, что его окружает.
Мара кивнула.
– Да, большинство экспертов считают, что именно это и произойдет, если мы не будем осторожны.
– Верно. Этот всемогущий интеллект и есть Василиск, монстр нашей истории, – продолжал Джейсон. – Все действия «искусственного бога» будут подчинены стремлению к совершенству, а значит, все и вся, что препятствует этому стремлению, он будет рассматривать как своих врагов. И главнейшими его врагами станут те, кто мешал ему появиться на свет.
