Сеть Хопфилда является рекуррентной, то есть активность каждого нейрона определяется активностью любого издругих нейронов сети. Поэтому активность каждого нейрона служит как входом, так и выходом для его соседей. В частности, каждый входной сигнал, получаемый нейроном от другого нейрона, умножается на определенное число - синаптический вес. Затем эти взвешенные входы суммируются и сравниваются с пороговым значением: если сумма больше (или равна) пороговому значению, уровень активности нейрона равен 1 ("включен"), в противном случае - 0 ("выключен"). Этот выход затем поступает на вход других нейронов в сети, чьи выходы снова поступают на вход других нейронов, и так далее, и так далее.
Подобно телам в мош-пите, компоненты рекуррентной системы толкают и тянут друг друга, причем состояние единицы в любой момент времени определяется теми, кто ее окружает. Таким образом, нейроны в сети Хопфилда подобны атомам железа, постоянно влияющим друг на друга посредством магнитных взаимодействий. Эффекты этого непрерывного взаимодействия могут быть огромными и сложными. Предсказать, какие закономерности создадут эти взаимосвязанные части, практически невозможно без точной математической модели. Хопфилд был хорошо знаком с этими моделями и их способностью показать, как локальные взаимодействия приводят к возникновению глобального поведения.
Хопфилд обнаружил, что при правильном выборе весов между нейронами в его сети сеть какможет реализовать ассоциативную память. Чтобы понять это, мы должны сначала определить, что считается памятью в этой абстрактной модели. Представьте, что каждый нейрон в сети Хопфилда представляет один объект: нейрон A - это кресло-качалка, нейрон B - велосипед, нейрон C - слон и так далее. Чтобы представить конкретное воспоминание, скажем, о вашей детской спальне, нейроны, представляющие все объекты в этой комнате - кровать, ваши игрушки, фотографии на стене, - должны быть "включены"; в то время как нейроны, представляющие объекты не в этой комнате - луну, городской автобус, кухонные ножи, - должны быть "выключены". Таким образом, сеть в целом находится в состоянии активности "спальня вашего детства". Другое состояние активности - с разными наборами нейронов "включено" или "выключено" - будет представлять собой другое воспоминание.
В ассоциативной памяти небольшой вход в сеть реактивирует целое состояние памяти. Например, если вы увидите свою фотографию на кровати в детстве, это может активировать некоторые нейроны, представляющие вашу спальню: нейроны кровати, нейроны подушки и т. д. В сети Хопфилда связи между этими нейронами и нейронами, представляющими другие части спальни - шторы, игрушки, письменный стол, - заставляют эти нейроны активизироваться, воссоздавая полное ощущение спальни. Отрицательно взвешенные связи между нейронами спальни и нейронами, представляющими, скажем, местный парк, гарантируют, что в память спальни не проникнут другие предметы. Таким образом, вы не запомните качели рядом с вашим шкафом.
Когда одни нейроны включаются, а другие выключаются, именно их взаимодействие делает полную память более рельефной. Таким образом, тяжелую работу по восстановлению памяти выполняют синапсы. Именно сила этих связей выполняет грозную, но деликатную задачу восстановления памяти.
