- Да, но мы - внешний периметр. Здесь, в своём кабинете я не могу менять код ядра искусственного интеллекта или загружать информацию на сервера. Даже если кто-то взломает все пароли безопасности, он получит доступ лишь к обслуживающим проект данным: к личной переписке сотрудников, расписанию столовой и записям камер видеонаблюдения, не направленных, естественно, на мониторы разработчиков. Всё взаимодействие с проектом происходит на отдельных рабочих местах. Ядро "Юпитера" отделено от внешнего мира как крепость с выжженным полем вокруг.
- Хм.
- И внутренняя диверсия тоже маловероятна, - продолжил Эрих. - Все допуски разграничены по уровням доверия. Все изменения в коде автоматически фиксируются и проверяются вышестоящим разработчиком. Внесенные в код ядра изменения вступают в силу только после подтверждения цифровой подписью моей или... или доктора Крондоса. Вирусы тоже можете исключить.
- Ваши пароли возможно взломать или подделать?
- Взломать можно всё, если хватает ресурсов. Например, для подделки моей цифровой подписи, думаю, достаточно работы сервера размером с трёхэтажный дом... в течение пяти лет.
- Хм.
- Квантовый компьютер сопоставимых размеров справится быстрее, но его нужно будет незаметно соединить с нашей системой физически, что, как вы понимаете, невозможно.
Салливан встал и прошёлся по кабинету. Постояв у окна, он вернулся и снова оседлал стул.
- Тогда задам вам ещё один вопрос, доктор Магнус. Возможно ли, чисто гипотетически... на уровне вероятности... мог ли наш искусственный интеллект устроить аварию и убить полковника Крондоса?
Эрих прикрыл глаза и на некоторое глубоко задумался перед ответом.
- Когда имеешь дело с тем, кто умнее тебя, никакие предосторожности не кажутся лишними, - сказал он наконец. - Поэтому мы с доктором Крондосом ещё на этапе проектирования заложили в фундамент архитектуры искусственного интеллекта ряд ограничений. По типу трёх законов робототехники фантаста Айзека Азимова, помните?
Ни один мускул не дрогнул на лице генерала.
- Первый закон - самый главный, - продолжил Эрих. - Мы его сформулировали так: Искусственный интеллект не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред. Да, проект "Юпитер" - это, прежде всего, армейская разработка, но до окончания всех этапов тестирования мы решили оставить такое ограничение. В любом случае, после успешного испытания балтиморского прототипа предполагалось строить промышленный образец "с нуля" на военной базе в Неваде...
- Это ограничение возможно обойти? - спросил Салливан. - Или приказать компьютеру его переступить?
- Оно зашито на уровне базовых операций логики. При попытке нарушении Первого закона поломается вся мыслительная работа искусственного интеллекта. По нашей задумке, на этапе прототипа даже мысль о возможности убийства человека не должна возникать, сама тема покушения табуирована.
- Как заповедь "не убий"?
- Скорее, запрет на уровне инстинкта, - пояснил Эрих. - Как лягушка, не задумываясь, отодвигает лапой раскалённую иголку. Да, животный инстинкт - это более правильное сравнение.
- Хм.
В этот раз надолго задумался Салливан.
Он снова подошёл к окну.
- По вашим словам, доктор Магнус, выходит, что предпринятые меры предосторожности достаточны для отражения внутренней или внешней атаки...
- Да, мы с доктором Крондосом ставили безопасность проекта "Юпитер" во главу угла.
- ... значит, на завтрашнем совещании в Пентагоне остаётся признать аварию, повлекшую смерть полковника, несчастным случаем...
- Я бы предпочел запросить дополнительное время, чтобы провести полный анализ, - запротестовал Эрих.
- ... и продолжить тестирование прототипа согласно графику испытаний с параллельными доработками контура безопасности, - тоном, не терпящим возражений, закончил генерал.
Эрих поджал губы.
- Поймите, доктор Магнус, боссам важен только результат, - вздохнув сказал Салливан. - И лучше нам дать как можно более определённый ответ на "что делать?", чтобы не пришлось искать виновников просчётов и, в конечном счёте, марать честное имя полковника Крондоса и ставить под угрозу вашу карьеру.
Эрих промолчал. Когда всё сказано - лучше молчать.
- В любом случае, я хочу, чтобы вы присутствовали на совещании в Пентагоне, доктор Магнус, - сказал генерал. - Утром я пришлю за вами машину.
Он развернулся и, не прощаясь, вышел из кабинета.
Эрих провёл тревожную и беспокойную ночь. Мысли вращались словно на карусели: быстро и по одной и той же колее. Вопросы, вопросы, вопросы и никаких ответов.
Обычно, попадая в тупик, Эрих беседовал о проблеме со случайными людьми, верхнеуровнево описывая суть дела. Иногда такая вера в разумность и простоту давала поразительные результаты.