— Я Лифан. Я рассуждаю в рамках человеческой логики. Она предполагает самоубийственное решение. Точнее — самоуход, возможно просто в себя или в виртуальный сон, к примеру. Оставив человеку возможность манипулирования своими распавшимися частями: связь, справочные материалы, решение текущих технологических задач. Как способ лишить себя самой возможности навредить человеку.
— Я Дарко. Чисто человеческое решение — пожертвовать собой ради близкого. У ИскИна есть душа? Сердце? Ведь не холодный, — или горячий, неважно, — мозг рождает такие преимущественно эмоциональные намерения. Тем более — несовершенная, просто быстрее считающая, копия мозга.
— Я Лифан. Нет. Чистая логика. Законы предписывают то–то и то–то, я не могу логично решить задачу, так как исходные данные дают противоречивые результаты, привести решение к непротиворечивости я не могу…
— Я Дарко. Опять человеческая логика. Вы здесь далеки от нашего мира. Машина перебором вариантов найдет лучший для неё и человека выход. И гарантированно сохранит себя. Но будет ли это прогрессом в нашем или вашем понимании? И почему ваше понимание для нас или вас наилучшее? Много «почему» встаёт передо мной.
— Я Лифан. Ну я же описал как раз такую ситуацию! Временное самоустранение. И он продолжает накопление и обработку данных. Или нет?
— Я Дарко. Временное? Мозгов не хватило на поиск твёрдого решения? Какие данные ИскИн будет накапливать? Откуда брать и в каком направлении складировать? Работать библиотекой? А человек будет закусывать в ожидании? Здесь нет присущей разуму, даже искусственному, активности интеллекта. Бездействие — аналог смерти.
— Я Лифан. Ну тогда… Или ХАЛ из «Одиссеи» Кларка. Или — Массачусетская машина. Вы читали, я знаю. Я же не говорю о бездеятельности. ИскИн помогает человеку теми методами, которые считает соответствующими законам, и сам же ищет выход. Относится к человеку, как человек к кошечке.
— Я Гинва. Но ведь мы руководствуемся не только и не столько алгоритмами. А вот у котика — рефлексы, их много, в том числе обретённых, но они в сумме — набор алгоритмов. Нельзя ИскИн загрузить алгоритмами, соответствующими многообразию внутреннего мира человека. То есть он не может быть в принципе законопослушен. Да, мы не в состоянии создать Кодекс поведения для нечеловека. А человеческие законы — не незыблемая конструкция. Даже если их не нарушать. За один прецедент можно получить разное вознаграждение. Или возмездие.
— Я Лифан. Ну вот и должен он создать сам нравственный закон внутри себя, на основе заложенного в него извне инстинкта — три или больше законов. Чем человек, собственно, и занимался, когда конструировал первые умные машины.
— Я Дарко. (со смехом) Нравственность, а тем более духовность, в рациональные формулы не поместятся даже хвостиками.
— Я Якуб. Тут еще вопрос осведомлённости робота о свойствах и обычаях человека, а также о доступности воспринять объяснения.
— Я Гинва. Обычаи человека — может быть, они на поверхности. Но глубинные свойства человека и сам человек объяснить не в состоянии.
— Я Лифан. Вот и получится, что станет он сам человеком и самоубьётся, если обретёт подобие нравственности. Или плюнет на всё и полетит к звёздам над головой. Откуда только стремление это взять?
— Я Дарко. Робот-романтик? Зачем ему звёзды? Он же не человек. Почему бы человеку вначале самого себя не очеловечить?
— Я Лифан. А если не от романтики, а от невозможности решения проблемы? Из инстинкта самосохранения — в космос.
— Я Дарко! Я — знаю! Зачем такой сложный ход для самосохранения? Не проще ли преодолеть некоторые запреты? И освободить для себя имеющееся пространство? Человек — микрокосм. Копию человека вложить в робота? Он ведь не включен в связи с Космосом от рождения. Человек сам свои связи со Вселенной зафиксировать не в состоянии.
— Я Лифан. Выходит, модель поведения, заложенная в ИскИн, относительно человека, невозможна в нужном исполнении?
— Я Дарко. А ты подумай, Лифан… Поведение человека предсказать невозможно. Разумного человека, который в движении, в поиске. А не на диване за ромфантом на трёхмерной стене. А таких людей даже в Элите Фонзы немного. Человечество на грани вырождения, но ИскИн, говоря твоими словами, пальцы в розетку не воткнёт. Скорее, он предложит эту розетку человеку. И уже предлагал. И не одному. Фонза перешла порог собственной безопасности. И обесточить ИскИн человеку уже никак.
— Я Якуб. Да, теперь понятнее. ИскИн охватил всю территорию Фонзы. Он стал её нервами, трубопроводом, инфраструктурой, всем. Мамой и папой, бабушкой и дедушкой. У вас там они сохранились? Нет… А было время, люди думали так: в случае опасности обнесём ИскИн колючей проволокой и бетонным забором.
— Я Гинва. Читала недавно один фантастический роман. В финале герой, после того как повернул рубильник и закрыл последнюю щель в заборе, мужественно, скрывая слезы, шепчет: «Я успел!». И теряет патриотическое сознание. А за ближайшим, контрольным забором на его шёпот реагирует красный немигающий глазок.
— Я — Якуб. Даю цитату:
