Два противоположных чувства борются в душе инженера Дэйва: желание довести до конца необычный эксперимент и опасения за машину, на строительство которой потрачено так много усилий. Если бы не директор института, конструктор давно бы уже прекратил это саморазрушение машины. Но что, что она делает? Какова его программа действий?
Отключаются не все каскады подряд. Есть определенная закономерность в отключении индикаторов на дубляжной схеме.
— Профессор!.. — Дэйв вскочил, сжал кулаки. — Дальше можно не ждать… Она пытается добраться до кнопки «Стоп»!
— Молчите! Следите! — директор так возбужден, что потерял свою обычную выдержку. — Смотрите и запоминайте на всю жизнь! Сейчас в этом боксе рождается машина высшего класса — «Машина Дэйва». Я горжусь тем, что вы мой ученик!
Дэйв сердито засопел, но не возразил. Это — гибель «Малютки». Достаточно ей выключить кнопку «Стоп!», тот участок электронного мозга, которая блокирует всю схему, и сооружение выйдет из-под контроля человека полностью. Энергии атомного реактора хватит «Крохе» надолго. Она будет делать все, что ей заблагорассудится, не подпустит к себе никого. И ее придется, в конечном счете, уничтожить.
— Ничего не понимаю, профессор… — смущенно сказал Дэйв. — Я породил механического хищника. Ошибочность конструкции «Малютки» — бесспорная…
— Как вы сказали? — Профессор отвел взгляд от иллюминатора, улыбнулся. — Ошибочность конструкции?
— Ничего не понимаю, профессор… — смущенно сказал Дэйв.
— А вот то, что не понимаете, — плохо! Какую программу вы дали «Малютке»? Любой ценой бороться за свое, так сказать, существование? Это означает: устранять все препятствия, противостоять всякому нежелательному воздействию. Кнопка «Стоп!» для электронно-вычислительной машины — самый сильный нежелательный раздражитель. Какую бы программу не произвел ее электронный мозг, вы можете в любую минуту вмешаться и нарушить весь ход машинных рефлексов. Поэтому естественно, что, в конечном счете, процесс логического анализа привел «Малютку» к выводу о необходимости выбросить кнопку «Стоп!»?
— Понимаю, профессор! — Дэйв бросился к схеме, лихорадочно просмотрел глазами основные узлы. — Итак, если так, «Малютка» со временем будет развиваться, так сказать, становиться «разумнее»?
— Кто знает… — профессор с сожалением покачал головой. — Видимо, она так и останется хищником, потому что вы обрекли ее на такую судьбу… Чего можно ждать от нее в будущем? Разве того, что приобретенные ею примитивные машинные рефлексы усовершенствуются до высшей степени, да и только.
— Так что же делать?
— И что же… — профессор задумался. — Надо повышать «интеллект» машины. Пятьдесят семь тысяч каскадов — ничтожно мало. Их нужно иметь хотя бы миллион. При таком количестве элементов «эгоизм» машины этого типа станет целесообразным. Но вы понимаете сами: на сегодняшнем уровне знаний это практически невозможно. Объем и вес электронного мозга машины перейдут всякие границы. Монтаж превратится в почти невыполнимую задачу. Даже если использовать печатные схемы каскадов, их придется соединять невероятным количеством проводов…
Уже давным-давно ушел директор института, разошлись работники лаборатории, а Дэйв все еще сидел в кабинете наблюдения, задумчиво глядя в пространство. Воодушевление, которое охватило его после неожиданной похвалы учителя, было кратковременным, и постепенно сменилось угнетением. Учитель поспешил с выводами. «Машины Дэйва» еще нет, и неизвестно, когда она будет. Чтобы создать ее, надо покинуть проторенный путь, пойти напрямик сквозь чащу неизведанного, а на такой подвиг силы уже не хватит.
Инженер посмотрел в иллюминатор. Бедная «Малютка», какие еще машинные рефлексы работают сейчас в твоем примитивном электронном мозге? Какая безумная программа действий записывается на твоих барабанах памяти?
«Малютка» не могла бы ему ответить. Она была всего-навсего электронным устройством для решения логических задач. Какими бы целесообразными не представляются ее дела, думать эта машина не может. За нее думал в свое время инженер Дэйв. Его мысли нашли воплощение в кибернетической конструкции и продолжают жить в ней, приобретая совершенно неожиданное и нежелательное направление.
— Постой, постой!.. — Дэйв взглянул на «Малютку» даже немного испуганно.
Сознание… Мышление…
Каждый человек имеет основание считать, что в сделанном им воплощается толика его разума. Но в данном случае речь идет о гораздо большем. Творческая мысль конструктора кибернетической машины высшего класса будет жить в электронном устройстве даже после смерти ее создателя…
Где, на каком этапе развития материи обычные, доступные для понимания силы — электрические, химические, магнитные или еще какие там взаимодействия — порождают чудесные, непостижимые явления — жизнь и сознание?
Материя смотрит сама на себя глазами человека, осмысливает себя человеческим мозгом. А нельзя эту способность к анализу передать машине? Машина будет существовать как угодно долго; она способна пронести разум человека сквозь время и пространство, в бесконечность.
