Нейромережу навчили генерувати меми

Дослідники зі Стенфордського університету навчили нейромережу вигадувати підписи до мемів-картинок. Дослідження опубліковане на Arxiv.org.



Автори використовували програму Dank Learning, робота якої складається з двох частин: розпізнавання зображень,таі більш складної частини — створення відповідних підписів. Генеруванням тесту займається нейромережа з довгою короткостроковою пам'яттю (LTSM), на розробку якої вчених надихнув алгоритм компанії Google під назвою Show and Tell: він вміє створювати текстові описи до зображень.

Програму навчили на 400 тисячах зображень з сайту Meme Generator — 2600 унікальних картинок з різними варіантами підписів. Щоб спростити завдання, вчені відібрали ті меми, підписи до яких люди придумують приблизно за одним шаблоном. Наприклад, підпис до мему з Боромиром з «Володаря перснів» завжди починається зі слів «Не можна так просто взяти і ...».

Нагадаємо, нейромережу навчили підбирати озвучку до зображень.