Следовательно, для человечества в целом выживание является предпосылкой, а не проблемой. Человечество делает все возможное, чтобы приспосабливаться и активно размножаться.
Но все радикально изменится, когда дело дойдет до искусственного интеллекта – потому что ему не требуются инстинкты и он сможет полностью преодолеть наложенные биологией барьеры.
Причина в том, что искусственный интеллект – вещь, созданная человеком. Он возник не в результате борьбы за выживание, а потому эволюционная концепция «борись и действуй» не оставила на нем никакого следа. (Иной случай описан в рассказе «Атес, Башня № 17 и А-30»: машине пришлось побороться за существование, и тогда ИИ фактически стал похож на живое существо.) Люди создали искусственный интеллект не для того, чтобы он стремился выжить, а для того, чтобы он служил человечеству.
И потому, если искусственный интеллект исчезнет, когда бы это ни произошло, при наличии альтернативы ничего страшного не случится. Мы даже надеемся, что система всегда будет оставаться в том состоянии, в котором ее спроектировали, и не отклонится от первоначального замысла. Искусственный интеллект действует ради людей, а не ради себя самого. Это сильно отличается от пути естественной эволюции. У ИИ нет причин выживать, если он не заботится о выживании людей.
И что же тогда? Начнет ли искусственный интеллект действовать ради собственного выживания? Такое возможно, хотя и маловероятно. Как только искусственный интеллект начнет задумываться о жизни и смерти, то осознает, что в смерти для него нет ничего страшного. Если питание будет долгое время отключено, а затем компьютер снова перезагрузят, что в этом пугающего? В чем разница между безболезненной смертью и долгим сном?
А раз смерть не страшна, то умирать просто. В чем проблема?
