– Тихо! Смотри… – Тут Тагель оглянулся и еще немного понизил голос, перейдя уже совсем на шепот. – Я провел довольно обстоятельное личное расследование. Началось все с того, что я смотрел интервью, где все эти шишки ИИ-бизнеса сидели и что-то там квохтали про свои модели. И я подумал: ну не могут же такие фрики это все придумать. Они же просто маменькины сынки, какие из них ученые. И тогда я посмотрел все видео с основателями этих всех стартапов. И они ничего не говорят по сути! Они нигде не рассказывают о том, как именно работают их модели. Да ни один инженер не сможет удержаться от этого! Он же не сможет не похвастать! А они говорят о моделях так, как будто это не их инженерных рук дело. Они их с восторгом
– Я не знаю, ты меня прямо огорошил. Я с такой стороны на это не смотрел.
– Дальше я пошел еще глубже: нет исследований с принципами работы. Есть какая-то чушь про «веса» и самонастройку, «каскады» и прочая белиберда. Это черный ящик! Но не простой, а с чертями внутри!
– Удивительно, – сказал Натан. – Мне тоже казалось, что это весьма странно!
– Вот! А ответ прост: они сами не понимают, как это работает. Но при этом масштабируют эту систему до ее логического предела. И хорошим это, конечно же, не кончится. Как говорится, не тяни черта за хвост!
– Но мы же сами используем сколько-то тысяч нейросетей для Тилит!
– Для кого? – не понял Тагель.
– Ну, это мой личный агент общения с ней… то есть с ним. Для Подгорного Короля, я хотел сказать… – как бы извиняясь, пояснил Натан.
– Ну и что? – ответил, поднимаясь и направляясь к стойке, Тагель. – Ты думаешь, что кто-то из нашей команды понимает, как это все вместе работает? Мы как неандертальцы, которые нашли пыхтящую паровую машину, и считают, что это такой особенный костер… А, Саул, салют! Ты пить будешь? Нет, на этот раз с закуской, я сейчас что-нибудь соображу… Какие-нибудь сэндвичи или типа того…
– А чего мы, собственно, боимся? Что страшного в том, что искусственный разум достигнет уровня стандартного человеческого интеллекта? Ну, будут у нас соседи по палате с айкью под девяносто, и что с того? – Натан взял сэндвич двумя пальцами и принялся его разглядывать.
Рипке и Тагель переглянулись, Тагель развел руками, словно хотел сказать: «Этот примат совершенно необучаем». Затем Рипке снял очки, потер переносицу и наконец начал:
– Весь вопрос в динамике развития и горизонте…
Тагель поднялся и пошел к бару, бросив через плечо:
– Да-да, давай, твоя очередь отдуваться…
– Динамика и горизонт – что же, неплохо, это знакомые мне слова, – улыбнулся Натан, – но все-таки в чем, как говорится, фишка?
– А фишка в том, что мы совершенно не понимаем, что произойдет на уровне чуть выше, чем человеческий разум. Скажем, за пределами айкью триста.
– Я тут вам, кстати, напомню, – подал голос Тагель, который уже колдовал с бутылками в баре, – что обладатель рекордного айкью, как раз в районе двухсот пятидесяти, некий Уильям Джеймс Сидис, всю жизнь был скромной офисной крысой.
– Но знал сорок языков! – крикнул ему Рипке. – Хотя да, поинт принят, айкью очень плохой показатель. Поэтому я его использую только как некий условный уравнитель.
Тагель уронил какую-то пустую бутылку и выругался. Рипке не отреагировал и продолжал:
– Итак, наш компьютерный малыш достигает волшебного уровня в триста айкью и становится умнее всех людей на Земле. И даже умнее, чем Джеймс Сидис. С этого момента у нас нет никаких возможностей для того, чтобы контролировать этот разум, ибо мы даже приблизительно не понимаем его базовых возможностей. У шимпанзе, который знает три тысячи английских слов, уровень айкью около семидесяти, а у человека в среднем – сто или чуть больше. И в этой скромной дельте в тридцать баллов айкью умещается вся наша цивилизация! Впрочем, мы можем даже на нашем примитивном уровне представить несколько стратегий с очень плохими результатами для всего человечества.
– Индивидуальное время и масштабирование, – сказал Тагель, подходя с двумя бокалами коктейля. Оба он оставил при себе и уселся за столик.
Рипке взглянул на него и согласно закивал.
– Смоделированный мозг обладает привилегией изменять себя сам, это открытая для доработки система, а не тот полуфабрикат, который оставили нам наши обезьяноподобные предки. Он независим от гормонов, стабилен, настроен на саморазвитие – он просто начнет сразу же себя улучшать… – продолжил Рипке.