Нейромережа навчилася розпізнавати музичний інструмент на відео

Розробники з MIT створили алгоритм PixelPlayer, що дозволяє на відео визначати звук потрібного музичного інструменту і змінювати його гучність. Теоретичне обґрунтування роботи опубліковано на Arvix.org, а сама програма буде представлена ​​на вересневій конференції з комп'ютерного зору European Conference on Computer Vision.



Для навчання нейромережі «згодували» 714 відео з 60 годинами запису гри музикантів на 11 інструментах: акордеоні, акустичній гітарі, віолончелі, кларнеті, ерху (китайською скрипці), флейті, саксофоні, трубі, тубі, скрипці і ксилофоні. При цьому на відміну від інших алгоритмів розпізнавання окремих джерел в звуковій доріжці, для PixelPlayer не потрібно ставити вручну мітки. Для цього дослідники використовували «самоконтрольоване» глибинне навчання, тому всю необхідну інформацію програма витягує самостійно.

Нагадаємо, нейромережу навчили генерувати меми.