Max Home IndustryВычислительная фотография — это растущая область, и она даже достаточно зрелая, чтобы некоторые из ее подходов и алгоритмов нашли свой путь в кремний. У Массачусетского технологического института есть новый чип с низким энергопотреблением, который может революционизировать фотографию.
Чип, созданный командой Лаборатории микросистемных технологий Массачусетского технологического института и финансируемый Foxconn, обеспечивает большую часть того, что вам нужно для размещения вычислительной фотографии прямо в камере. Он потребляет так мало энергии, что его можно встроить в телефон или цифровую камеру и обеспечить такую обработку, которая обычно выполняется специализированным программным обеспечением после загрузки фотографии на компьютер.
Микросхема довольно сложная, но ее основным элементом является реализация двусторонней матрицы фильтров. Двусторонний фильтр-это обобщение простого линейного 2D-сглаживающего фильтра на основе Гаусса на более мощный нелинейный фильтр, который сглаживает при сохранении детализации краев. Двусторонний фильтр взвешивает величину размытия, применяемую разницей в яркости соседних пикселей. Это оставляет края, где яркость быстро меняется, неизменными.
Этот простой фильтр имеет множество применений, включая снижение шума, устранение ошибок в экспозиции и контрастности, а также изменение разрешения. Чип имеет две двусторонние фильтрующие сетки и некоторые дополнительные аппаратные средства, которые делают его еще более полезным. Например, он может взять три изображения, сделанные с разной экспозицией, и объединить их вместе, чтобы создать одно изображение с высоким динамическим диапазоном (HDR). Это большой шаг вперед для HDR-фотографии, которая ранее нуждалась в постобработке, чтобы соединить изображения вместе. Чип может выполнить эту работу за несколько сотен миллисекунд для 10-мегапиксельного изображения.
HDR-изображения потрясающие, но для их точного отображения им нужны HDR-дисплеи. Так как же фотограф может просматривать их в режиме реального времени? И снова на помощь приходит двусторонний фильтр, который можно использовать для сжатия динамического диапазона для отображения на стандартном дисплее камеры.
Другие виды применения включают уменьшение бликов. Современные камеры имеют сложный контроль экспозиции, но это не останавливает области изображения, выходящие за пределы представимого диапазона. Двусторонний фильтр может выполнять локальное уменьшение или усиление контрастности для улучшения общего вида изображения. Другие методы заключаются в использовании вспышки камеры и обеспечении детализации, чтобы добавить к естественному освещению. В результате получается хорошо экспонированное изображение, которое выглядит естественно.
Тестовый чип в действии в реальном времени
Помимо улучшения внешнего вида фотографии, устройство может найти свой путь в аппаратное обеспечение машинного зрения в качестве этапа предварительной обработки. Многие алгоритмы машинного зрения требуют улучшения края и изображений с несколькими разрешениями, которые может реализовать двусторонний фильтр.
На данный момент чип является лишь экспериментальным прототипом, и он описан в статье, представленной на Международной конференции по твердотельному состоянию в этом году Рахулом Ритэ, Приянкой Райной, Натаном Икесом, Шрикантом В. Теннети и Анантой П. Чандракасан. Это доказывает, что можно выполнять вычислительную съемку в реальном времени с помощью оборудования, которое может быть встроено в мобильные устройства.
Кредиты: Все изображения любезно предоставлены исследователями