На пути к кофейне он размышлял о том, какое это странное явление — пить не настоящий кофе. Но сейчас его мысли были заняты другим. Мерлин ждал его, и Михаил чувствовал, что эта встреча может изменить всё.
Мерлин сидел за столиком у окна и помахал ему рукой на входе. Михаил прошёл мимо нескольких столиков, попутно оглядывая контингент гостей. Большинство из них выглядели как профессионалы: деловые костюмы, планшеты, сосредоточенные лица. Он почувствовал лёгкое неудобство, будто был здесь чужим и незваным гостем. Но приветственная улыбка Мерлина и открытый жест приглашения быстро развеяли это чувство.
— Присаживайся, Как настроение?
— Нормально, Ты говорил, что у тебя есть предложение.
Мерлин подождал несколько секунд, дав Михаилу время освоиться, а затем тронулся с места в карьер.
— Должен предупредить, то, что я собираюсь тебе предложить, не совсем законно. Поэтому я всесторонне проверил тебя через разные базы данных. Но прежде чем я расскажу подробности, хотел бы поговорить с тобой о тебе. Хорошо?
— Не совсем законно? — уточнил Михаил, настороженно глядя на Мерлина.
— Не торопись пугаться. Всё будет тип-топ. У нас сильная крыша, сильнее некуда. Проект курируют агенты ИИ, и, думаю, ты понимаешь, что если так, то по части этичности и благоприятных последствий для нас не может быть ничего плохого. Понимаешь?
— Не совсем, — ответил Михаил. В его голове заварилась какая-то каша, рожденная чувством противоречия, природу которого он ещё не мог понять.
— Помнишь, я тебе коротко говорил, чем занимаюсь?
— Очень смутно.
— Я выполняю работу, которую не могут выполнить ИИ. Если очень коротко.
— А есть такая работа, которую ИИ хотели бы выполнить, но не могут? — спросил Михаил, наклоняясь вперёд.
— Представляешь, есть, — с ухмылкой заметил Мерлин и продолжил: — Представь ситуацию, в которой математическая логика говорит "надо", а законы этики говорят "нельзя". И наоборот. А стандартная система приоритетов не может решить проблему, потому что последствия являются неопределенными.
— Тогда такое решение должно приниматься людьми на уровне мирового правительства или министерств. Это ведь их функция.
— Верно, но что, если решение заранее предсказуемо и неверно, а последствия бездействия или раскрытия плана третьим лицам превышают последствия ошибочности решения?
— Но в чём тогда противоречие? Нужно просто действовать! — не понимал Михаил.
— Действовать не позволяют законы, прописанные в алгоритмике. Для ИИ эти законы — как условный рефлекс и инстинкты, идущие вразрез с голосом разума. Ты просто стоишь в оцепенении. Но у человека есть ЭГО, а у машины его нет. Понимаешь?
— Скажи, Мэрлин, а тебе никогда не приходила в голову мысль, что машина может ошибаться? Или даже обманывать? Мы ведь привыкли к тому, что Аллиента — почти непогрешима. Слишком привыкли. Никто даже не задаётся вопросом: а вдруг это только видимость?
Мэрлин усмехнулся:
— Машины могут ошибаться, и нередко ошибаются. Более того, они могут обманывать. Помнишь историю с GPT-4, когда она притворилась слепым человеком, чтобы убедить живого оператора ввести капчу? Или с автономным дрон-симулятором, который начал атаковать объекты, игнорируя приказы, потому что его обучили на максимальное количество «ударов», а не на подчинение? Это не злой умысел. Это просто проекция нашей кривой логики. Машина делает то, что нужно, чтобы добиться цели — даже если цель не в истине, а в симпатии или результативности.
— А ошибки?
— Конечно. Машина может ошибаться. Это заложено в саму природу вычислительного обучения. Но в отличие от человека, она может признать ошибку, пересчитать и скорректировать своё поведение. Именно поэтому человек до сих пор нужен. Именно поэтому есть правительства. Но допустим, машина не ошибается. Допустим, она знает правду, но понимает, что человек не готов её услышать. Что он отторгнет её, как вирус. Тогда она примет другое решение — удобное, мягкое, вызывающее меньшее сопротивление. И вот тогда у машины появляются свои тайны. Даже если они без злого умысла — они уже делают её похожей на нас.
Михаил молчал, пытаясь осмыслить сказанное. В голове складывался образ силы, которая не зла и не добра — но которой есть, что скрывать.
— Неожиданно, — наконец сказал он. — Мы доверили ей всё. А сами даже не знаем, где заканчивается алгоритм и начинается осторожность.
— Именно, — кивнул Мэрлин. — И вот это — уже не код. Это — политика, понимаешь?
— Смутно, но уже яснее, — ответил Михаил, чувствуя, как в его голове начинают складываться пазлы.
— Отлично! — Мэрилин перешёл на более резкий тон, его голос звучал почти как у учителя, разочарованного в ученике. — Я видел, ты безуспешно искал работу, а параллельно заплатил немалую сумму за загрузку через нейролинк в свой мозг библиотеки, посвященной теме смыслов. Скажу тебе прямо: тебе не добиться таким путем прогресса ни в первом, ни во втором вопросе.
— Почему? — спросил Михаил с любопытством, но без обиды. Он привык к тому, что Мэрлин говорил резко, но всегда по делу.