В сфере компьютерных технологий новые опасности тоже или уже возникли, или могут возникнуть в самом ближайшем времени. «Интернет вещей» создал множество уязвимостей, и если вдруг разразится тотальная кибервойна, то важнейшая инфраструктура, объединяющая энергетику, командование, руководство и коммуникации страны, может выйти из строя — полностью или отчасти[1578]. Системы искусственного интеллекта уже свободно учатся обыгрывать чемпионов-людей в шахматы или го. Впрочем, появления общего искусственного интеллекта — компьютера, не уступающего человеку в разумности, — вероятно, не стоит ждать еще лет пятьдесят. Элиезер Юдковский, глава Исследовательского института машинного интеллекта (MIRI) в Беркли, утверждает, что мы можем непреднамеренно создать недружественный или аморальный ИИ, который восстанет против нас: например, мы велим ему остановить изменение климата, а он придет к выводу, что оптимальное решение — это уничтожить
Многие предлагали способы, как уберечь человечество от гибели и саморазрушения, признавали, что в своем нынешнем виде лишь считаные национальные правительства готовы выделять значимые ресурсы на то, чтобы обезопасить людей от катастроф с неопределенной вероятностью и сроком, — а может, делать это не готов и вовсе никто[1582]. Одно из предложений заключалось в том, чтобы внедрять «официальных Кассандр» в правительства, международные организации, университеты и корпорации, а также учредить «Национальную службу предупреждений», которая определяла бы наихудшие сценарии, оценивала риски и разрабатывала стратегии их снижения, предотвращения или смягчения последствий катастроф[1583]. Было и другое предложение: «…замедлить темпы развития опасных технологий относительно темпов развития защитных технологий» — при этом еще и следовало убедиться, что люди, задействованные в разработке новой технологии, обязуются использовать ее во благо, а не во зло, — и «улучшать возможности внутригосударственного управления, необходимые для того, чтобы с чрезвычайно высокой надежностью предотвращать любые попытки отдельных личностей или небольших групп… совершить серьезное противоправное деяние»[1584].
Но если задуматься, какой ценой удастся этого достичь, она сама по себе окажется экзистенциальной угрозой: придется создать «высокотехнологичную тюрьму» в комплекте с беспрерывной «охраной порядка, осуществляемой путем вездесущего надзора… эффективное глобальное управление [и] некий механизм наблюдения и принуждения, который позволит пресекать попытки совершения каких-либо деструктивных действий»[1585]. Это дорога в тоталитарный мир — причем технологии, позволяющие создать глобальное полицейское государство, существуют уже сейчас. Экономист Брайан Каплан сказал об этом так: «У будущего есть один особенно страшный сценарий, в котором чрезмерный страх Судного дня, став основополагающим принципом мирового правительства, мостит дорогу к непредвиденной мировой катастрофе: тоталитаризму. Те, кто призывает страны всего мира объединиться против опасностей, грозящих человечеству, должны рассмотреть возможность того, что само это объединение представляет собой еще более опасную угрозу»[1586]. А вот что говорит израильский историк Юваль Ной Харари: «…как только мы начнем полагаться на искусственный интеллект в выборе образования, места работы и супруга, человеческая жизнь перестанет быть драмой принятия решений… Теперь мы создаем прирученных людей, которые производят огромное количество данных и функционируют как высокопроизводительные чипы в машине обработки информации»[1587]. По его словам, развитие искусственного интеллекта обрекает человечество на новый тоталитаризм, делая «устаревшими» и либеральную демократию, и экономику свободного рынка. Скоро мы станем дойными коровами для данных[1588]. Но даже эта безрадостная перспектива, возможно, слишком оптимистична. Послужной список тоталитарных режимов свидетельствует, что те не только доят своих илотов, но и убивают их.
