Нейросеть научили определять жанр книги по ее обложке

  • 11 Ноя, 2016

Команда японских исследователей создала программу для распознавания жанра книги по изображению ее обложки.

Устойчивое выражение «не суди книгу по ее обложке» предостерегает от оценки чего-либо или кого-либо по одному только внешнему виду. Но когда читатель видит книгу, это все равно происходит: знакомство обычно начинается с обложки. Именно она оставляет первое впечатление о содержании и начинает рисовать историю в сознании человека. Хорошие обложки просто созданы для того, чтобы по ним судили. Тогда возникает интересный вопрос: может ли искусственный интеллект так же успешно судить о книге по обложке, как и человек?

Нейросеть научили судить книгу по обложке

Более 137000 книжных обложек, классифицированных по 20 категориям

Японские ученые из Университета Кюсю в городе Фукуока создали нейросеть, которая способна определять жанр книги по ее обложке, пишет Digital Trends. Для обучения они использовали каверы более 137 тысяч изданий с сайта Amazon, которые разбили по 20 различным категориям.

Исследователи создали четырехслойную сверточную нейросеть (CNN), каждый из слоев которой состоит из 512 нейронов. Для обучения нейросети ученые загрузили в нее 137788 уникальных обложек книг с Amazon, классифицированных по 20 различным жанрам. Для каждой книги авторы исследования указали только один жанр — который указан на сайте первым. Исследование опубликовано в открытом доступе.

«Для нас было очень важно попытаться применить механизмы машинного обучения к тем задачам, которые обычно апеллируют к человеческим чувствам и восприятию, — например, оценке дизайна», — говорит один из авторов исследования.

Результат оказался довольно интересным. По словам автора, алгоритм сумел точно определить жанр предложенной книги в 40 % случаев, когда программе давалось три попытки для правильного ответа, и в 21 % случаев, когда результат выдавался с первого раза.

«Это показывает, что классификация книг на основе распознавания дизайна обложек вполне возможна, хотя и является очень сложной задачей», — заключают авторы.

Японские ученые создали нейросеть, определяющую жанр книги по ее обложке

Матрица распознавания: вероятность того, к какому жанру нейросеть отнесет ту или иную книгу

Некоторые жанры оказались более легкими для распознавания, чем остальные. Например, нейросеть сравнительно легко распознает книги о туризме и компьютерных технологиях, потому что дизайнеры используют типичные изображения для книг этих жанров. Также легко программа распознает поваренную книгу, если на обложке находится изображение еды, однако испытывает затруднения, если вместо этого на обложке находится, например, портрет шеф-повара.

Биографии и мемуары алгоритм часто относит к смежному жанру исторической литературы, путает детские книжки с комиксами и графическими романами, и почти не отличает медицинскую от другой научной литературы.

В работе, представленной японскими учеными, есть один существенный недостаток: ученые не сравнили результаты работы машины с результатами человека. В частности, полезно было бы узнать, насколько точно определить жанр книге по обложке могу пользователи платформы на Amazon. Но несмотря на это досадное упущение, независимо от того, насколько хорошо мы можем определять жанры по обложке, машины однажды смогут сделать это быстрее. Это лишь вопрос времени.

Подписывайтесь на Квибл в Viber и Telegram, чтобы быть в курсе самых интересных событий.