По мере того как раскрывался весь ужас произошедшего 7 октября, несколько новостных изданий передавали из уст в уста слухи о большом количестве (сорок) обезглавленных младенцев. Президент Джо Байден прокомментировал эти заявления, хотя было неясно, видел ли он эти свидетельства лично или их передали ему советники. Позже вечером представитель администрации сообщил CNN, что Байден лично не видел фотографий или подтвержденных сообщений об обезглавленных ХАМАСом младенцах, уточнив, что слова президента относились к публичным комментариям СМИ и израильских официальных лиц. 109. СМИ и специалисты по проверке фактов впоследствии пытались выяснить правду о масштабах и способах смерти, даже когда сильно поляризованные произраильские и палестинские влиятельные лица и группировки сражались в социальных сетях по поводу того, является ли это утверждение израильской военной пропагандой. 110 Как и в случае с российским вторжением в Украину в феврале 2022 года, туман войны затруднял понимание происходящего; слухи распространялись до того, как становились известны факты.
Однако атака ХАМАС и последующий военный ответ Израиля также стали первым крупным конфликтом, разыгравшимся в эпоху демократизированного генеративного ИИ. Миллионы людей знали, что машины могут создавать очень реалистичный фальшивый контент. И поэтому люди стали отвергать реальные злодеяния, считая их подделками, сгенерированными ИИ. Когда правительство Израиля опубликовало фотографии нескольких убитых младенцев, некоторые авторитеты прогнали изображения, которые были частично размыты, через детекторы изображений ИИ, по крайней мере один из которых был одурачен размытостью и заявил, что изображения были сгенерированы ИИ. Люди, не доверяющие израильскому правительству, ухватились за ложный результат; некоторые обвинили премьер-министра Биньямина Нетаньяху в фабрикации изображений убитых детей. 111 По мере продолжения конфликта изображения, сгенерированные ИИ, неоднократно становились вирусными, а реальные изображения отвергались как ИИ. Все, что было неудобно для той или иной стороны, могло быть отклонено как фальшивка стимулируемой фракцией.
Сочетание легко генерируемого поддельного контента и подозрения, что все может быть поддельным, позволяет людям выбирать, во что верить. Нереальность и ее призрак будут продолжать усугублять наше раздробление на отдельные реальности. 112 Хотя технологическое обнаружение сгенерированного контента будет совершенствоваться, оно никогда не станет идеальным решением. Проблема опять-таки не только в технологиях - она в значительной степени связана с тем, каким источникам и контенту доверяет аудитория.
Регулятивный арбитраж модерации контента
За десятилетие, прошедшее после #ColumbianChemicals 11 сентября 2014 года, государственные акторы в полной мере воспользовались столкновением машины пропаганды и мельницы слухов. Хотя многие государственные операции влияния (по крайней мере, те, которые мы находим) часто не кажутся особенно эффективными (а некоторые и являются таковыми), мы, тем не менее, видим постоянную креативность и изобретательность государственных акторов, которые внедряют в свои операции новые платформы, функции и технологии. Это игра в кошки-мышки, причем в роли кошки выступают в основном технологические компании.
С конца 2017 года, по мере того как правительствам, людям и платформам становились известны подробности обширной тайной социальной деятельности ИРА, технологические платформы пытались решить эту проблему. Facebook начал раскрывать информацию об аккаунтах, стоящих за рекламой на платформе, и требовать от людей, запускающих политическую рекламу, подтверждать свою личность. 113 Страницы Facebook стали отображать местоположение администраторов страницы и предыдущие названия страницы. Платформы создали команды по обеспечению честности, укомплектованные специальными сотрудниками для поиска и уничтожения сетей фальшивых аккаунтов до того, как они превратятся в нечто значимое, и появилась новая область политики: "скоординированное неаутентичное поведение". Сети аккаунтов уничтожались, если платформы определяли, что они "неаутентичны" - например, если люди, стоящие за аккаунтами, выдавали себя за тех, кем они не являются, или использовали несколько аккаунтов согласованно, чтобы манипулировать вовлеченностью. 114
Сотрудники российской фабрики троллей в Санкт-Петербурге говорили многое из того же, что и подлинные техасские сепаратисты или черноеврейские израильтяне, но их аккаунты были закрыты, потому что они или трюки, которые они использовали для усиления своих сообщений (например, автоматические боты), были не тем, чем казались на первый взгляд. Платформы публиковали отчеты и предоставляли наборы данных исследователям, таким как моя команда, которые затем проводили независимый анализ и предоставляли общественности еще больше контекста и прозрачности.