— Необязательно. Нейронная сеть учится самостоятельно и разрабатывает собственную стратегию для достижения целей. Все, что ей для этого требуется, — это данные и функционал, который должен постоянно улучшаться. Речь идет, например, о степени удовлетворения пользователей. Сеть опробует какие-то функции, и, если пользователь находит, что это хорошо, оптимизация продолжается в этом направлении. Проблема в том, что с этого момента больше никто не будет знать наверняка, как именно работает система.
— Это означает, что зеркальная сеть влияет на жизнь ста миллионов человек и никто не знает, как и почему она это делает?
— Точно. Так что, как я уже сказал, забудь о покупке Зеркала.
— Я, честно говоря, здесь не по этому поводу.
— Другими словами, ты его уже купила?
Она смущенно улыбнулась.
— Именно. И оно себя странно повело.
Фрейя рассказала о нападении дрона на Терри и о влюбленной паре.
— Как ты думаешь, это технические ошибки или сделано намеренно?
Линус погрузился в молчание. Придя к каким-то выводам, он поинтересовался:
— Интересно… Где именно происходит сбой?
— Не поняла…
— Если говорить о некоем действии, которое совершает программа, то речь пойдет о плане, стратегии, инструкции. Программа разрабатывает эту стратегию, опираясь на данные, которые имеются в ее распоряжении, посредством алгоритмов, которые вложены программистом, или тех, что она построила сама. Если данные или алгоритмы оказываются ошибочными, то и действие тоже становится ошибочным.
— Другими словами, ты полагаешь, что зеркальная сеть умышленно манипулировала Энди и Викторией, чтобы разлучить их, но это произошло из-за ошибки в программе?
— Я бы не стал использовать слово "умышленно". Я действительно считаю, что программные системы в какой-то момент обретут самосознание, но мы еще не на этом этапе. Да, по тому, как ты это описала, получается, что у зеркальной сети была цель своими манипуляциями разлучить влюбленную пару. Но это, вероятно, произошло не из-за ошибки в программировании. Я скорее склонен предполагать, что ошибка заключалась в базовых установках.
— Каких, например?
— Скажем, в предположении, что устройство, пекущееся о благополучии своего владельца, — это хорошая идея. В предположении, что людям вообще нужна помощь.
— Если посмотреть на состояние, в котором пребывает наш мир, это предположение не кажется таким уж необоснованным.
— Если посмотреть на состояние мира, то можно увидеть, что большинство людей не несет ответственности за свои действия. Например, они не задумываются о засорении окружающей среды пластиковой упаковкой или летают самолетами, вместо того чтобы ездить на поездах. Зеркала заставляют своих владельцев брать на себя еще меньше ответственности. Люди предоставляют гаджетам возможность руководить собой. Они ведут себя как малые дети.
— Но ведь одновременно появляются и новые возможности? Например, зеркальная сеть могла бы повысить осведомленность людей о состоянии окружающей среды…
— Могла бы… Но кто, скажи, ее контролирует? Каковы их намерения? Они заботятся об окружающей среде или о росте стоимости своих акций?
Фрейя вспомнила свой разговор с сотрудником пресс-службы ГИС.
— Ты прав. Вероятно, наивно так думать. Как думаешь, что мне следует предпринять?
— А что ты сама намерена делать?
— Я решила написать статью об опасности зеркальной сети. Вот почему я здесь: хотела услышать твое мнение.
— Это лестно. Но, если честно, боюсь, что никого не заинтересует мое мнение, равно как и твое.
— Но почему?
— Потому что все, что ты рассказала мне, — это просто история. Ты не сможешь привести объективные доказательства. "Уолнат Системс" и ее материнская компания ГИС будут все отрицать.
— Они уже это делают.
— Вот видишь. И с этим ничего нельзя поделать. Проблема в том, что инциденты не повторяются многократно.
— Что ты имеешь в виду?
— Это элементарный научный принцип, на который опирается разработка программного обеспечения. Если что-то происходит, а потом ты не можешь достичь того же результата в тех же условиях, то первоначальный результат практически бесполезен. Никто не тратит время на исправление ошибок в программном обеспечении, если эти ошибки не воспроизводятся и баг не задокументирован должным образом.
— Это означает, что редко возникающие ошибки просто игнорируются?
— В основном да. Если бы были проверяемые, подлинные записи, которые бы четко подтверждали, что Зеркала врали обоим влюбленным, тогда ты могла бы написать убедительную статью. К сожалению, ничего подобного у нас нет.
— В конце концов, у меня есть видео с беспилотником, прячущимся от тарантула.
— У тебя есть видео, где показан беспилотник, который ведет себя странно. А что, если кто-то управляет дроном вручную? Может, это банальный фейк.
Фрейя вздохнула.
— Я понимаю. Обидно, но… — она сделала паузу. — Погоди-ка! У меня возникла идея! Что, если я попрошу ту парочку продолжить пользоваться своими Зеркалами? Есть возможность как-то фиксировать воздействие этих устройств?
Линус нахмурился.
