Max Home IndustryВозьмите камеру и нейронную сеть, соответствующим образом обученную, и вы сможете делать фотографии почти при нулевом освещении, которые выглядят так, как будто светит солнце.
Я почти устал говорить о том, какие удивительные вещи делает компьютерная фотография, чтобы изменить способ создания изображений, но это своего рода прорыв.
Если вы знаете технологию своей камеры, вы будете знать, что съемка изображений на полном солнце-это детская игра, но как только свет немного ограничится, вам придется жонглировать временем экспозиции v диафрагмой v скоростью пленки. Чем дольше время экспозиции, тем больше света захватывается, но вещи движутся, и поэтому размытие-настоящая проблема. Если вы увеличите диафрагму, вы захватите больше света, но уменьшите глубину фокусировки, и поэтому размытие является реальной проблемой. Если вы увеличите скорость пленки или, точнее, чувствительность сенсора, то вы больше реагируете на доступный свет, но шум увеличивается, что приводит к размытому изображению.
Иногда эти вещи работают в ваших интересах и могут быть использованы творчески — длительные экспозиции удаляют быстро движущиеся объекты или размывают их в поток, большие апертуры создают размытый фон, а высокие скорости пленки создают традиционно зернистый внешний вид. Интересно, что сегодняшние датчики работают не так; они просто увеличивают количество шума «соль и перец» в изображении, что почти всегда плохо.
Есть способы улучшить изображения с помощью стандартной и очень умной фильтрации фотографий и манипуляций, но как насчет того, чтобы взять нейронную сеть и научить ее тому, как должна выглядеть фотография при слабом освещении в реальности? Это то, что сделали Чэнь Чэнь, Цифэн Чэнь, Цзя Сюй и Владлен Колтун, работающие в Лаборатории Intel и Университете Иллинойса Урбана-Шампейн. Они сняли сцену с очень низкой освещенностью, 0,1 люкс, и камеру с экспозицией 1/30 с при f5.6, используя чувствительность ISO 8000, и в итоге получилось что-то похожее на черноту. Собрав библиотеку похожих фотографий плюс несколько более нормальных версий с длительной экспозицией, они обучили нейронную сеть преобразовывать черные фотографии в нечто, что выглядело так, как если бы они были сделаны при обычном освещении. Библиотека сама по себе является важным ресурсом и доступна для других, чтобы посмотреть, можно ли сделать лучше.
Метод работает с необработанными данными датчиков, и на данный момент он специфичен для датчика, поэтому модель лучше всего работает с камерой, на которой она обучена.
Взгляните на видео, чтобы увидеть, насколько хорошо оно работает:
Нет никаких сомнений в том, что это работает, но как это работает?
Нейронная сеть, должно быть, изучает, как низкая освещенность изменяет способ захвата данных датчиком. Он должен выполнять масштабирование гистограммы, чтобы распространить небольшой диапазон значений яркости на весь доступный диапазон, но он также должен учитывать, как цвета изменяют слабую освещенность и как взаимодействуют формы и свет.
Для чего он может быть использован?
На данный момент время обработки слишком медленно для реального времени, но вы можете представить себе камеру мобильного телефона, способную делать фотографии хорошего качества в том, что в противном случае было бы черным как смоль. Однако, если вы начинаете представлять себе более серьезные приложения, то на некоторые вопросы нужно ответить. Например, если вы использовали этот подход для создания очков ночного видения для наблюдения или боя, существует небольшая проблема артефактов. Как мы можем быть уверены, что реконструкция верна? Предположим, нейронная сеть «галлюцинирует» что-то или не включает что-то. Это не просто проблема с этой конкретной работой, трудности проверки нейронных сетей являются общими.
У авторов есть предложения по дальнейшей работе, и один из них заключается в том, чтобы включить рендеринг с высоким динамическим диапазоном — так что вы не только начинаете с черного изображения, но и получаете что-то, что превосходит то, что вы достигли бы при нормальном освещении со стандартной камерой.
Код и все данные доступны на GitHub, так что вы можете попробовать его самостоятельно.
Слева — лучшая условная; справа — нейронная сеть