DARPA займется фильтрованием лженауки с помощью ИИ

Детектор «псевдонаучного бреда» с искусственным интеллектом.

Антрополог и, по совместительству, сотрудник исследовательского подразделения DARPA Адам Рассел (Adam Russell) попросил всех неравнодушных помочь агентству разработать технологию распознания псевдонаучной ерунды в потоке научных знаний при помощи новейших машинных алгоритмов и методов анализа больших данных.

DARPA создаст ИИ-детектор «псевдонаучного бреда»

Фото: itc.ua

Речь идет о создании алгоритма для проверки научной достоверности, прежде всего, социологических исследований. Говоря простым языком, ученые намерены создать систему, которая сможет взять научное исследование, изучить его и определить, научное оно или нет.

По сути, это будет такой себе «детектор бреда», который придется как нельзя кстати в нынешнюю «эпоху постправды» — эпоху безудержного распространения недостоверной информации. Самому Расселу название «детектор бреда», к слову, не очень нравится, хоть он и признает, что определенный смысл в нем есть.

По словам ученого, он не намерен вносить свой вклад в популяризацию обскурантизма — мол, раз ученые в чем-то не уверены, значит, им нельзя доверять. По его мнению, наука — это по-прежнему лучший метод познания мира, а DARPA просто хочет знать, в чем наука действительно преуспела, и почему.

Интерес Министерства обороны США, научным подразделением которого и является DARPA, к социальным наукам объяснить легко — в 21 веке военным крайне важно понимать, как работает общественное сознание. Почему одни организации или целые государства сохраняют стабильность, тогда как другие разваливаются? Почему пользователи социальных сетей часто укрепляются в своих радикальных суждениях? Почему люди в некоторых случаях сотрудничают друг с другом, а в других — предпочитают соперничать?

Кроме того, военные также хотят узнать, как люди взаимодействуют с машинами, прежде чем машины станут умнее и распространятся повсеместно. Однако ныне все эти вопросы объединены двумя общими чертами: они играют немаловажную роль для национальной безопасности; но на них никто не может дать точный ответ.

К сожалению, просто довериться научным исследованиям по общественным наукам сегодня нельзя. Прежде всего, мешает кризис воспроизводимости результатов исследований, особенно в психологии и социологии: зачастую ученые не могут повторить эксперимент и получить те же результаты повторно. Также существует проблема сознательной подгонки результатов ради получения грантов и публикаций. Но на этом проблемы не заканчиваются.

«Если вы спросите ряд социологов, как работает такая-то организация, то получите не просто 20 различных ответов, а ответы, несравнимые друг с другом, — говорит Дункан Уоттс ( Duncan Watts), социолог из Microsoft Research, в январе этого года опубликовавший обличающую статью в журнале Nature Human Behavior, посвященную проблемам социальных наук.

Вы читаете одну статью, потом другую, в их заголовках есть одинаковые слова, но разный метод анализа, разные теоретические конструкции, совершенно разная причинно-следственная связь. К тому времени, пока вы завершите обзор литературы, в вашей голове будет полная каша. Речь идет не об отдельных недостоверных исследованиях, а о проблемах целой науки!».

Таким образом, заключает Рассел, в общественных науках — экономике, социологии, антропологии — все еще нет необходимых стандартов, и DARPA собирается их создать. Чтобы сделать это, агентство объявило конкурс на разработку машинного алгоритма в рамках проекта «Уровни достоверности в общественных и поведенческих науках», который, в свою очередь, является частью программы «Новое поколение социальной науки», запущенной в августе прошлого года.

«Когда научная отрасль возникает, то, как правило, в скором времени она приобретает определенные стандарты. Это свидетельствует о том, что в ней происходит что-то значимое. В социальных науках пока ничего такого нет», — рассказывает Рассел.

В конечном счете агентство надеется собрать воедино все идеи и технологии научной проверки достоверности: как привычные мета-анализ, экспертную оценку и статистические методы, так и новые — объем цитирования в сети и коэффициент динамического взаимодействия, чтобы на их основе затем разработать ИИ-алгоритм, способный быстро присваивать «уровень достоверности» научным трудам и статьям.

DARPA создаст ИИ-детектор «псевдонаучного бреда»

Фото: wired.com / Getty Images

Вместе с тем, многие ученые скептически отнеслись к идее DARPA.

«Я не думаю, что в итоге у них получится воплотить в жизнь все свои планы. Максимум, будет разработан механизм, который сможет отбирать статьи, требующие более внимательного рецензирования», — рассказывает социолог из Пристонского университета Мэтью Сальганик (Matthew Salganik), также работающий над проблемой воспроизводимости социологических исследований.

По мнению ученых, основная проблема, с которой столкнется агентство, будет заключаться в том, что никто не может точно сказать, что именно должен уметь делать такой алгоритм.

«В науке нет «золотого стандарта» и бенчмарков. Раз есть люди, которые полагают, что знают решение проблемы некачественных исследований, значит, нужно устроить соревнование между ними. Полагаю, собрав множество идей воедино и попытавшись их сравнить, мы сможем посмотреть на проблему с совершенно с иной точки зрения и приблизиться к ее решению», — сетует Брайан Носек (Brian Nosek), глава Центра открытой науки и один из ведущих ученых, занимающийся проблемами воспроизводимости.

Таким образом, по мнению Носека, DARPA следует не просто собирать всевозможные идеи, но также час от часу устраивать своего рода состязания, в ходе которых предложившие те или иные модели по оценке достоверности люди будут иметь дело с конкретными проблемными исследованиями. Затем, по результатам эксперимента, ученые разработают так называемую «номологическую нейронную сеть», одновременно использующую наиболее качественные подходы.

«Единственный рабочий метод проверки доказательств заключается в том, чтобы изучать проблему с разных сторон. Но это весьма расплывчатое определение», — говорит Носек.

Впрочем, по мнению исследователей, проблема социальных наук кроется не только в невоспроизводимости множества экспериментов. По словам Сальганика, социальные науки, в отличие, например, от наук компьютерных, имеют еще и свою собственную особую эпистемологическую проблему, из-за которой ученые задают вопросы гораздо чаще, чем получают ответы.

«Ученые из компьютерных наук привыкли задавать вопросы, на которые они могут легко получить ответ. Какой спам-фильтр лучше всего отсеивает спам? Вот 900,000 писем, помеченных, как спам и «не-спам». На их основе мы натренируем 10 различных нейронных сетей. Вот еще 100,000 писем. Пускай новоиспеченные сети попробуют определить, какое письмо относится к какой категории, а потом мы посмотрим, какая из них справилась с заданием лучше всего. В результате мы определим наиболее эффективные алгоритмы», — говорит Сальганик

Ученые компьютерных наук, как правило, занимаются системами предсказания, а проблемы предсказания легко выразить количественно. В то же время, в социальных науках все иначе, потому что они пытаются ответить на вопрос, почему так происходит, а не как это распределить. Следственно, утверждает Сальганик, DARPA будет очень трудно обучить алгоритм выявлять качественные проблемы исследований.

Напоследок ученые отмечают, что в ближайшем будущем научное сообщество, по всей видимости, столкнется с серьезнейшей фундаментальной проблемой из сферы философии науки, разрешить которую будет не так-то просто. Но «непросто» не значит «непреодолимо», обнадеживают исследователи.

Подписывайтесь на Квибл в Viber и Telegram, чтобы быть в курсе самых интересных событий.