Максимизация избыточности подняла ёмкость памяти сети Хопфилда с 0,14 до 1,59 в моделировании
Авторы в Nature Communications обучали каждый нейрон максимизировать избыточную информацию: ёмкость модели сети Хопфилда выросла с 0,14 до 1,59.
В Nature Communications опубликована работа, в которой цель обучения на основе избыточной информации поднимает ёмкость памяти сети Хопфилда до 1,59. У классической сети, обученной по правилу Хебба, она равна 0,14. nature.com
Nature Communicationsnature.comОткрыть источник ↗ Авторы описывают это как улучшение более чем в десять раз и сообщают, что результат также превосходит современные реализации сетей Хопфилда. Работа вычислительная: модельные нейроны анализируются и обучаются в симулированных сетях.
Ассоциативная память — это извлечение сохранённых образов по неполным или зашумлённым подсказкам. Сеть Хопфилда хранит образы как аттракторы своей динамики, а её веса обучаются с образами в роли обучающего сигнала. Если запустить сеть с искажённого образа, она обновляет состояния нейронов и сходится к сохранённому образу. Сети Хопфилда предложены в 1982 году и первоначально обучались по правилу Хебба. Более поздние правила улучшили ёмкость и устойчивость.
Информационный анализ отдельных нейронов
Авторы применили частичную декомпозицию информации (Partial Information Decomposition). Она разделяет вклад входов в выход на уникальную информацию каждого входа, избыточную информацию, общую для входов, и синергетическую информацию, возникающую лишь при их объединении. Каждый нейрон сравнивали с двумя входами: рекуррентным и целевым, который несёт эталонный образ, но не управляет нейроном.
Анализ проводили на классической сети Хебба из 500 нейронов. Нагрузка памяти — отношение числа сохранённых образов к числу нейронов. Ёмкость памяти — наибольшая нагрузка, при которой все образы ещё воспроизводятся; для правила Хебба она около 0,14. Ниже ёмкости избыточность между внешним входом-образом и внутренним рекуррентным входом была высокой. Синергия и уникальная информация оставались близкими к нулю, пока ёмкость не превышалась и качество не падало резко. nature.com
Nature Communicationsnature.comОткрыть источник ↗
Избыточность как цель обучения
На основе этого наблюдения авторы построили инфоморфные нейроны ассоциативной памяти. Каждый нейрон максимизирует локальную целевую функцию избыточности. По словам авторов, это развивает и улучшает концептуальную демонстрацию Makkeh и соавторов. С такой целью ёмкость памяти сети достигла 1,59.
Авторы заключают, что максимизацию избыточности можно использовать как принцип построения ассоциативной памяти. По их утверждению, это открывает путь к новым моделям ассоциативной памяти на основе информационно-теоретических целей.
