В Google научили смартфоны ретушировать фотографии в реальном времени

Новые алгоритмы машинного обучения все сделают за вас.

Специалисты из Google и Массачусетского технологического института разработали алгоритм на основе нейросетей, который позволяет обрабатывать изображения — например, осветлять темные фотографии. В отличие от аналогичных существующих алгоритмов, новая разработка способна обрабатывать фото в реальном времени, используя для этого мощности смартфона.

Google и MIT научили смартфоны ретушировать фотографии в реальном времени

Слева – оригинал 12-мегапиксельной фотографии, справа – та же фотография, сделанная новым алгоритмом | Фото: MIT

Разработка будет представлена на конференции по компьютерной графике SIGGRAPH 2017, а посвященная ей статья опубликована в журнале ACM Transactions on Graphics.

«Фотографии, которые снимают современные камеры, зачастую воспринимаются как сырой материал. Прежде чем поделиться снимком в соцсетях даже те, кто снимают на смартфон, тратят минуту или две, выравнивая цвет и контраст с помощью популярных фоторедакторов», – отмечают в MIT.

Камеры в современных смартфонах постоянно улучшаются, зачастую за счет повышения качества линз или матрицы. Но, поскольку они имеют очень малый размер, дальнейшее их развитие становится все сложнее и обходится дороже.

Поэтому многие производители концентрируются на программном, а не аппаратном улучшении качества получаемых снимков. К примеру, создатели ряда моделей отказались от механической стабилизации изображения в пользу алгоритмической.

Компания Google также решила пойти по этому пути и уже в нескольких поколениях своих смартфонов включает в приложение камеры функцию HDR+, которая объединяет несколько кадров с разной экспозицией в один, тем самым расширяя его динамический диапазон, и убирает слишком темные и светлые области.

Смартфоны научили ретушировать фотографии в реальном времени

Сравнение обработки 12-мегапиксельного изображения с помощью существующего алгоритма HDR+ и новой разработки | Фото: businessinsider.com / MIT / Google

Недостаток этой функции заключается в том, что она применяется к уже отснятому изображению, из-за чего пользователь не может оценить конечный результат во время съемки.

Специалисты Google, совместно с коллегами из Лаборатории информационных технологий и искусственного интеллекта MIT, решили оптимизировать алгоритм работы камеры таким образом, чтобы обработка происходила в реальном времени.

В основе нового алгоритма лежит сверточная нейросеть. Полностью обрабатывать изображение в высоком разрешении и в реальном времени пока не представляется возможным из-за ограниченной мощности смартфонов.

Поэтому исследователи использовали сложную систему, которая выполняет большую часть вычислений на уменьшенной копии исходного изображения, а затем переносит результаты на фотографию в высоком разрешении.

Инженеры натренировали алгоритм на наборе из пяти тысяч пар фотографий: исходных и отретушированных профессиональными фотографами. Исследователи протестировали программу на реальном смартфоне, и алгоритм смог в реальном времени выдавать на экран обработанное изображение с разрешением 1920×1080 пикселей и частотой обновления в 40–50 герц.

Разработчики считают, что эта технология может быть внедрена в смартфоны в обозримой перспективе и позволит пользователям видеть качественно обработанные фотографии еще до того, как они сняты, не опасаясь при этом за расход заряда аккумулятора.

Подписывайтесь на Квибл в Viber и Telegram, чтобы быть в курсе самых интересных событий.