Э.: Вот смотри. Бывают случаи, при которых искусственный интеллект не может претворить в жизнь какое‑либо сгенерированное им решение исключительно техническими средствами. Требуется участие человека, который должен будет действовать согласно предписаниям, поступившим от искусственного интеллекта. Но что, если эти предписания будут на первый взгляд противоречить здравому смыслу и принципам морали? К примеру, случится на крупном предприятии серьезная авария. Искусственный интеллект, имея доступ к показателям работы всего оборудования, сумеет грамотно рассчитать, какие меры и в какой последовательности нужно предпринять, чтобы свести общий ущерб к минимуму. Допустим, без участия искусственного интеллекта человек вообще не смог бы полноценно контролировать происходящее и предприятие разрушилось бы так, что не подлежало бы восстановлению. С немалой долей вероятности во время аварии может возникнуть ситуация, при которой искусственный интеллект предпишет какому‑нибудь сотруднику предприятия совершить явно опасное для жизни действие или дать указание другому сотруднику совершить такое действие. Вот представь: ты начальник участка на предприятии, которое готово вот-вот взлететь на воздух по причине крупной аварии. Искусственный интеллект дает тебе задание отправить кого‑нибудь из своих подчиненных на опасный участок, чтобы посредством некоторых манипуляций с оборудованием снизить угрозу. Допустим, с самого начала ясно, что при грамотных действиях он выполнит свою миссию и останется невредимым, но в случае ошибки, которая в таких экстремальных условиях весьма вероятна, он почти наверняка подвергнет себя смертельному риску. Ты как человек переживающий будешь думать, что он совершит промах, поддавшись панике. И, конечно, тебе станет страшно оказаться причастным к чужой смерти. Из-за чего подумаешь, что, может, это искусственный интеллект дал сбой, что он неправильно оперирует информацией, что его разработчики были фундаментально в чем‑то неправы. С другой стороны, если ты не решишься отправить сотрудника на опасную миссию, целое предприятие может вмиг превратиться в руины. Как ты будешь чувствовать себя в таком случае и как в итоге поступишь?
А.: Вопрос не из простых. Давай считать, что к тому моменту у меня уже будет какой‑то опыт взаимодействия с искусственным интеллектом, и я приму решение исходя из того, завоевал он мое доверие или нет.
