И здесь инженеры переходили к следующему этапу: «Да, проблема есть, но волноваться не стоит. Мы все исправим. Вы правы, навигационная система автомобиля должна фиксировать, что он съехал с дороги, и либо автоматически отключить круиз-контроль, либо настроить его на безопасную скорость».
Этот ответ наглядно иллюстрирует суть проблемы. Машина не обладает умом: ее интеллект – это интеллект конструкторов. Они сидят в своих кабинетах, пытаясь представить себе все, что может произойти с машиной и водителем, и выработать правильные решения. Но как заложить правильную реакцию на неожиданное событие? Если такое случается с человеком, можно предположить, что он решит проблему с помощью воображения и смекалки. Но «интеллект» наших машин заключен не в них самих, а в головах инженеров. Поэтому в непредвиденных обстоятельствах, когда конструктора нет рядом, машина, как правило, не справляется с задачей.
О неожиданностях мы знаем две вещи: во-первых, они обязательно случаются, во-вторых, всегда застают нас врасплох.
Как-то раз инженер одной автомобильной компании отреагировал на мой рассказ о Джиме не так, как другие. Он смущенно признал, что нечто подобное на съезде с шоссе случилось и с ним самим, но у него была другая проблема – смена ряда. Если на шоссе с интенсивным движением водитель хочет перестроиться, он ждет, когда на соседней полосе возникнет достаточно большой просвет, а затем совершает маневр. Обычно при этом его автомобиль оказывается на небольшом расстоянии от машин, идущих впереди и сзади. Адаптивный круиз-контроль может решить, что передняя машина находится в опасной близости, и включить тормоза.
– Ну и в чем здесь проблема? – удивился я. – Это, конечно, раздражает, но вроде ничем не грозит.
– Нет, – пояснил инженер. – Это опасно, потому что едущий за вами водитель не ожидает, что после перестроения вы неожиданно затормозите. И если он не слишком внимателен, то может в вас врезаться. Но даже если этого не случится, ваша манера езды вряд ли ему понравится.
– Возможно, – засмеялся он, – у машины должен быть специальный стоп-сигнал, который будет загораться, если тормоза включаются автоматически, предупреждая водителя сзади: эй, я не виноват, это моя машина тормозит.
Инженер, конечно, шутил, но его слова указывают на различия в поведении людей и машин. Человек может вести себя по-разному, плохо или хорошо, обдуманно или беспечно. Машины более последовательны, они анализируют ситуацию в соответствии с логикой и правилами, на которые запрограммированы. Но в их действиях есть принципиальное ограничение: они воспринимают окружающий мир не так, как человек, у них нет «высших целей», и они не понимают целей и мотивов людей, с которыми должны взаимодействовать. Иными словами, машины не такие, как мы. В чем-то они нас превосходят, например в скорости, мощи, последовательности, а в чем-то уступают – прежде всего в навыках общения, в креативности и воображении. Машины лишены эмпатии и не способны понять, как их действия отразятся на окружающих. Из-за этих различий, связанных в первую очередь со способностью к общению и наличием эмпатии, и возникают проблемы. Более того, такие различия, а значит, и возникающие противоречия, носят фундаментальный характер, их нельзя устранить, изменив какой-нибудь алгоритм или добавив лишний датчик.
В результате действия машин вступают в противоречие с действиями людей. Зачастую ничего страшного в этом нет: если моя стиральная машина стирает белье не так, как я, какое мне дело – ведь в результате я получаю чистую одежду. Здесь автоматизация эффективна, поскольку мне нужно только загрузить белье и включить машину, а все остальное она делает сама. Она, так сказать, берет дело в свои руки, и, если я не вмешиваюсь, все работает без сбоев.
Но как быть в ситуациях, когда люди и техника должны взаимодействовать? И что произойдет с моей стиральной машиной, если, включив ее, я захочу изменить режим? Как мне сообщить ей об этом? И когда она его изменит, если программа уже запущена – сразу же или при следующей стирке? Здесь различия между реакцией людей и машин становятся очень важными. Иногда кажется, что машина действует абсолютно волюнтаристски, хотя если бы она умела мыслить и говорить, то объяснила бы, что, с ее точки зрения, это я творю произвол. На человека, вовлеченного в процесс, эта борьба за превосходство может действовать угнетающе. А стороннего наблюдателя она ставит в тупик: не ясно, кто здесь главный и почему происходит то или иное действие. И не важно, кто в данном случае прав – человек или машина. Значение имеет сама несогласованность действий – ведь именно из-за нее возникают злость, раздражение, а порой даже поломки или травмы.
