Результаты обучения ИИ в неидеальной человеческой среде.

Машины с искусственным интеллектом могут приобретать расовые и гендерные предубеждения при обучении из текстовых источников, утверждают исследователи. Без стороннего вмешательства алгоритм машинного обучения учится ассоциировать женские имена с темой семьи, а имена чернокожих считает более неприятными, чем имена белых.

Исследователи из Принстонского университета обнаружили предвзятость у искусственного интеллекта

Фото: telegraph.co.uk

В журнале Science опубликовали результаты интересного исследования. Ученые проанализировали степень предвзятости обычной модели с искусственным интеллектом и совместили полученные результаты с известным психологическим тестом, определяющим уровень предвзятости человека.

Исследователи повторили все стадии психологического тестирования на машинном интеллекте, пишет Эйлин Кэлискан (Aylin Caliskan) из Принстонского университета. Поскольку машинное обучение охватывает широкий спектр информации, начиная от перевода и заканчивая сканированием имен в резюме, предвзятость проникает даже в ИИ.

Очевидно, что предубеждения в ИИ появляются из существующих материалов в виде книг и текстов в интернете. Например, в Google Photos некоторые темнокожие пользователи отмечены тегом «горилла». Также известно, что языковые алгоритмы учатся ассоциировать слово «мужчина» со словом «преподаватель», а слово «женщина» — со словом «помощник преподавателя».

Команда Кэлискан разработала тест, напоминающий по сути имплицитный ассоциативный тест (ИАТ), используемый психологами для измерения уровня предвзятости.

В тесте объекты представлены в виде парных изображений: например, показываются фотографии черного и белого мужчин и даются два слова на выбор, например, «приятный» и «неприятный». ИАТ подсчитывает скорость поочередного сопоставления изображений со словами.

Исследователи обнаружили предвзятость у ИИ

Фото: ccsu.edu

В тесте для искусственного интеллекта тоже измеряется уровень предвзятости, но вместо измерения времени реакции он подсчитывает математическое расстояние между двумя словами. Иначе говоря, если числовое расстояние между именем темнокожего и словом «приятный» больше, чем расстояние между именем белого человека и тем же словом, ассоциация в первом случае слабее.

Единственное ограничение — это то, что пока возможен подсчет степени предвзятости только для отдельных слов. Команда исследователей надеется продолжить работу над тестом, чтобы проводить исследования ассоциаций уже не отдельных слов, но сочетаний или фраз, в том числе на разных языках.
Есть ли способы повлиять на ситуацию?

По словам Кэлискан, решение проблемы не обязательно сводится к изменению модели обучения. ИИ просто фиксирует реальное состояние мира вокруг, который далек от объективности. Изменение алгоритмов работы приведет к снижению эффективности машинного обучения.

Утаивание информации также не принесет результата. Даже если не говорить модели пол человека, вы все равно косвенно будете передавать информацию, связанную с гендерной принадлежностью, что не останется незамеченным. Люди должны использовать другие методы.

Например, можно улучшать перевод в Google Translate, добавляя варианты перевода для обоих родов. Или привлекать большее число людей к написанию алгоритма машинного обучения. Но в первую очередь нужно помнить, что предубеждения никуда не денутся, если с ними не бороться.

Подписывайтесь на Квибл в Viber и Telegram, чтобы быть в курсе самых интересных событий.