Эксперт Андрей Бродецкий рассказал об исследовании Массачусетского технологического института о нейросетях.
Про нейросети часто говорят, что они «имитируют работу мозга», но это большое преувеличение. Да, информация передаётся между слоями нейросети подобно сигналу между нейронами в мозгу. Но даже самые сложные нейросети на порядки проще самых простых биологических мозгов. Вот познавательное исследование - учёные разобрали, как работает обонятельная система бражника (обычный серый мотыль) и смоделировали на её основе нейросеть. А в голове у мотыля непростая система: 30 тысяч химических рецепторов улавливают запахи, затем сигнал передаётся в антенную долю, где 60 разных клубочков отвечают за разные запахи. Дальше код уловленного запаха передаётся в грибовидное тело (это такие парные структуры в мозгу насекомых, состоящие из нескольких слоёв нейронов), где 4000 специальных клеток перекодируют запахи в воспоминания. На финальном уровне несколько десятков внешних нейронов интерпретируют полученные сигналы в действия, к примеру "лететь вверх".
На смоделированной нейросети учёные увидели много интересного: как сигнал очищается от шума с увеличением разрядности между слоями, как обучение без октопамина замедляется и становится практически бесполезным. Мотыль обучается очень быстро - для того чтобы правильно запомнить нужный запах, ему достаточно нескольких итераций, тогда как обучение искусственных нейросетей требует очень много времени. Исследователи планируют использовать подсмотренные у природы механизмы для того чтобы обучать нейросети быстрее и эффективнее. Мне кажется, такие заимствования у природы - это очень круто!
Текст на основе материала MIT Technology Review.
