Способности мозга к памяти вдохновляют экспертов по искусственному интеллекту сделать нейронные сети менее «забывчивыми»

Дата публикации: 22 сентября 2020

Ученые из Массачусетского университета в Амхерсте и Медицинского колледжа Бейлора совместно работают над имитацией способности мозга к воспроизведению, - пишет eurekalert.org.

Эксперты по искусственному интеллекту (ИИ) из Массачусетского университета в Амхерсте и Медицинского колледжа Бейлора сообщают, что они успешно преодолели то, что они называют «серьезным, давним препятствием на пути увеличения возможностей ИИ», черпая вдохновение из механизма памяти человеческого мозга, известного как «воспроизведение».

Первый автор и постдокторант Гидо ван де Вен и главный исследователь Андреас Толиас из Бэйлора вместе с Хавой Сигельманн из Университета Массачусетса в Амхерсте пишут в Nature Communications, что они разработали новый метод защиты - «на удивление эффективно» - глубоких нейронных сетей от «катастрофического забывания» (когда, усвоив новые уроки, сети забывают то, что они узнали раньше).

Сигельманн и его коллеги отмечают, что глубокие нейронные сети являются основными движущими силами последних достижений в области искусственного интеллекта, но катастрофическое забывание сдерживает прогресс.

Они пишут: «Одним из решений было бы сохранить ранее встречавшиеся примеры и пересматривать их при изучении чего-то нового. Хотя такое «воспроизведение» или «репетиция» решает проблему катастрофического забывания, - добавляют они, - «постоянное повторное обучение всем ранее изученным задачам крайне неэффективно и объем данных, которые необходимо сохранить, быстро становится неуправляемым».

В отличие от нейронных сетей ИИ, люди могут непрерывно накапливать информацию на протяжении всей своей жизни, опираясь на полученные ранее уроки. Они объясняют, что важным механизмом в мозге, защищающим воспоминания от забывания, является воспроизведение паттернов нейронной активности, представляющих эти воспоминания.

Сигельманн говорит, что основная идея команды состоит в том, чтобы «признать, что воспроизведение в мозгу не хранит данные». Скорее, «мозг генерирует репрезентации воспоминаний на высоком, более абстрактном уровне без необходимости генерировать подробные воспоминания». Вдохновленные этим, она и ее коллеги создали искусственный мозговой повтор, в котором данные не хранятся. Вместо этого, как и мозг, сеть генерирует высокоуровневые представления о том, что она видела раньше.

«Абстрактное генеративное воспроизведение мозга» оказалось чрезвычайно эффективным, и команда показала, что воспроизведения всего нескольких сгенерированных репрезентаций достаточно, чтобы сохранять старые воспоминания при изучении новых. Генеративное воспроизведение не только предотвращает катастрофическое забывание и обеспечивает новый, более рациональный путь для системного обучения, но и позволяет системе обобщать обучение от одной ситуации к другой, заявляют они.

Например, «если наша сеть с генеративным воспроизведением сначала научится отделять кошек от собак, а затем отделять медведей от лисиц, она также будет отличать кошек от лисиц без специального обучения для этого. И, в частности, чем больше система узнает, тем лучше становится при изучении новых задач», - говорит ван де Вен.

Он и его коллеги пишут: «Мы предлагаем новый, вдохновленный мозгом вариант воспроизведения, в котором воспроизводятся внутренние или скрытые представления, которые генерируются собственными сетевыми связями обратной связи с контекстной модуляцией. Наш метод обеспечивает высочайшую производительность на сложных тестах непрерывного обучения без хранения данных, и это обеспечивает новую модель для воспроизведения абстрактного уровня в мозгу».

Ван де Вен говорит: «Наш метод делает несколько интересных предсказаний о том, как воспроизведение может способствовать консолидации памяти в мозгу. Мы уже проводим эксперимент, чтобы проверить некоторые из этих предсказаний».

Поделиться: