Models of the Mind полностью

Многослойные перцептроны", как называли эти новые нейронные архитектуры, могли воскресить коннекционизм из мертвых. Но до полного воскрешения необходимо было решить одну проблему: обучение. Оригинальный алгоритм перцептрона содержал рецепт установки связей между входными нейронами и считывающими нейронами - то есть правило обучения было разработано для двухслойной сети. Если новая порода нейронных сетей будет иметь три, четыре, пять или более слоев, то как должны быть установлены связи между всеми этими слоями? (Несмотря на все положительные стороны правила обучения перцептрона - его простоту, доказательство того, что оно может работать, тот факт, что оно было обнаружено в мозжечке, - оно не смогло ответить на этот вопрос. Знания того, что многослойный перцептрон может решать более сложные задачи, было недостаточно для того, чтобыграндиозные обещания коннекционизма. Необходимо было, чтобы оннаучился решать эти проблемы.

* * *

Пасхальное воскресенье коннекционистского возрождения наступило в 1986 году. Статья "Обучение представлений путем обратного распространения ошибок", написанная двумя учеными-когнитивистами из Калифорнийского университета в Сан-Диего Дэвидом Румельхартом и Рональдом Уильямсом, а также компьютерщиком из Карнеги-Меллон Джеффри Хинтоном, была опубликована 9 октября в журнале Nature. В ней представлено решение именно той проблемы, которая стояла перед этой областью: как обучать многослойные искусственные нейронные сети. Приведенный в статье алгоритм обучения, названный "обратным распространением", стал широко использоваться сообществом в то время. И по сей день он остается доминирующим способом обучения искусственных нейронных сетей для решения интересных задач.

Рисунок 6

Оригинальное правило обучения перцептрона работает, потому что, имея всего два слоя, легко понять, как исправить то, что пошло не так.Если считывающий нейрон выключен, когда он должен быть включен, то связи, идущие от входного слоя к этому нейрону, должны стать сильнее, и наоборот. Таким образом, связь между этими связями и показаниями очевидна. Алгоритм обратного распространения решает более сложную задачу. В сети с большим количеством слоев между входом и считыванием взаимосвязь между всеми этими связями и считыванием не так очевидна. Теперь вместо президента и его или ее советников у нас есть президент, его советники и сотрудники этих советников. Степень доверия советника к тому или иному сотруднику -то есть сила связи между этим сотрудником и советником - безусловно, в конечном итоге повлияет на действия президента. Но это влияние труднее непосредственно заметить и труднее исправить, если президент чувствует, что что-то идет не так.

Нужен был явный способ рассчитать, как любое соединение в сети повлияет на уровень считывания. Как оказалось, математика предлагает отличный способ сделать это. Рассмотрим искусственную нейронную сеть с тремя слоями: входным, средним и считывающим. Как связи от входа к среднему слою влияют на считывание? Мы знаем, что активность среднего слоя является результатом активности входных нейронов и весов их связей со средним слоем. Зная это, мы можем написать уравнение для того, как эти веса влияют на активность среднего слоя. Мы также знаем, что нейроны считывания следуют тому же правилу: их активность определяется активностью средних нейронов и весами соединений средних нейронов с нейронами считывания. Поэтому уравнение, описывающее, как эти веса влияют на считывание, также легко получить. Осталось найти способ связать эти два уравнения вместе.