Над хаосом полностью

«Технологии ИИ могут быть опасны с совершенно неожиданной стороны. Бояться надо не сверхразумных «скайнетов», которые вырежут род людской бензопилой по-техасски, а интеллектуальной системы, которая вообще не будет разумной в человеческом понимании, но для взаимодействия с людьми обстроится всякими «тюрингами» и «китайскими комнатами». Рано или поздно интеграция ИИ-технологий в информационную среду приведет к созданию такой системы, это просто вопрос времени, и случится это, скорее всего, неожиданно. В итоге мы получим некоего деятельного, но абсолютно непознаваемого человеческими возможностями левиафана, насчет которого мы не сможем точно сказать, разумный он или нет. Его поведенческие паттерны будут нам совершенно непонятны, но при этом он будет взаимодействовать с людьми через продвинутых чат-ботов – в общем, поговорить о том о сем с ним будет можно. Он будет решать домашние задания вашим нерадивым деткам, а в его недрах в это время будут происходить непонятные нам процессы. Мы сможем попросить его нарисовать милого котика, но понять, что и зачем он делает, – нет. Руководители сложных IT-проектов, работавшие с командами программистов, впрочем, не увидят для себя ничего нового, а вот остальным может быть местами страшно.

В принципе, если подходить к этой проблеме с философской точки зрения, то мы уже сейчас не можем понять, существует такой монстр или нет. А поймем только тогда, когда какие-то его действия начнут влиять на нашу повседневную жизнь. Хотя они ведь уже влияют, как, например, цифровая экосистема любого современного банка. Вот это я и называю сингулярностью: ты уже давно и глубоко в заднице, но все еще увлеченно строишь стратегию, как бы в нее не попасть».

Прогресс шел медленно, но неотвратимо, и вот уже все совершенно привыкли к тому, что Подгорный Король (которого к тому времени уже перестали так называть) стал отличным собеседником. Натан отмечал, как живо он интересуется всем на свете, и ему даже казалось, что это создание выманивает у него максимум информации об окружающем мире и о людях. Сейчас он был похож уже не на испуганного ребенка, а скорее на ищущего и сомневающегося во всем вокруг юного гения. Он стал намного более разговорчивым и вскоре исследователи заметили, что его диалоговые стратегии различаются в зависимости от того, кто с ним сейчас общается. Потом он стал появляться перед ними в разных обликах, но Натану по-прежнему чаще доставались всякие забавные говорящие животные. А потом ИИ во время их бесед начал включать музыку и демонстрировать красочные визуализации, причем эту музыку он сочинял сам, как и создавал спецэффекты. Натан должен был признать, что и то и другое получалось у него отлично; такого же мнения были и другие участники эксперимента. Вскоре они сами выделили ему дополнительные вычислительные мощности для того, чтобы создавать индивидуальные локации внутри симуляции, где он жил…