Как работает супер ночной режим AIS Honor 20 Pro?

Фотография — это искусство манипулирования светом для создания новых реалий. Действительно, мощная фотография, как это ни парадоксально, является одновременно и сверхреалистичной и творческой. Тем не менее, фотографии создаются светом, и поэтому фотография напрямую зависит от количества света, которое может быть получено с помощью фотокамеры.

Профессиональные камеры имеют преимущество благодаря компонентам, которые специально разработаны для приема и использования как можно большего количества света. Тем не менее, камеры смартфонов должны вписываться в компактный корпус и зависят от программного обеспечения, чтобы попытаться соответствовать качеству, создаваемому зеркальными или беззеркальными камерами. Как правило, они не соответствуют таким высоким стандартам. Разница особенно заметна при съемке ночных сцен в условиях низкой освещенности даже при использовании профессионального оборудования, с которым нужно уметь обращаться.

Недавно представленная модель Honor 20 Pro, оснащенная полностью измененным режимом AIS Super Night (Стабилизация изображения с поддержкой искусственного интеллекта), призвана навсегда изменить это восприятие. Камера Honor 10 позволила получить представление об улучшенной ночной фотографии, но Honor 20 Pro поднимает качество на совершенно новый уровень. В этой статье подробно рассматривается процесс, который делает возможным использование ночного режима AIS Super Night. Переход от нажатия кнопки спуска затвора к полученному изображению — все это занимает считанные секунды или доли секунд!

Во-первых, простая аналогия показывает, с какими трудностями сталкиваются производители смартфонов при попытке оптимизировать ночную фотографию. Представьте себе камеру как комнату, где собирается и обрабатывается свет. Время экспозиции — это продолжительность времени, в течение которого окна в помещении открыты. В дневное время суток при обильном освещении достаточно от 1/50 до 1/100 секунды экспозиции для необходимого количества света. Однако ночью или при плохом освещении требуются не менее двух секунд, чтобы получить минимальный свет, необходимый для получения приемлемого снимка. Другими словами, чем дольше «окно» открыто, тем больше света будет проникать в помещение.

Хотя две секунды кажутся короткими, на самом деле это вечность для камеры. Даже малейшее дрожание в течение этого периода приводит к тому, что картина становится нечеткой до неузнаваемости. Серьезные фотографы единодушно согласны с тем, что ночная съемка требует использования штатива, но подавляющее большинство пользователей смартфонов снимают по спонтанной прихоти, а не по плану фотосъемки.

Ночной режим AIS Super Night решает проблему штатива с помощью фрагментации, позволяя разделить процесс длительной съемки на десять и более коротких экспозиций. Чем короче экспозиция в этой группе, тем меньше вероятность переэкспонирования ярких областей, а чем дольше экспозиция, тем больше деталей восстанавливается в более темных областях. Этот метод отличается от традиционного для смартфонов, где для улучшения яркости изображения используется простая, непрерывная длительная экспозиция.

Затем несколько изображений синтезируются с помощью алгоритма AIS для создания окончательного изображения, не только улучшая яркость и динамический диапазон, но и обеспечивая меньший уровень шума и четкость деталей. В этом процессе используется HDR — распространенный метод фотографирования для включения более широкого динамического диапазона яркости в изображение, но он не ограничивается рамками HDR. Ночью, когда используется только традиционный HDR, изображения получаются шумными, с тусклыми цветами, низкой четкостью и низкой контрастностью. Помимо обработки HDR, AIS Super Night режим также увеличивает количество изображений и разницу экспозиции между группами изображений, что позволяет выполнять более сложные операции. В результате получаются яркие, детализированные, реалистичные изображения.

Процесс съемки в ночном режиме AIS Super Night подразделяется на следующие этапы:

1. AI Ручное обнаружение.

Для запуска ночной съемки функция искусственного интеллекта Honor 20 Pro сначала определяет, делает ли пользователь снимок рукой. При нажатии кнопки спуска затвора чип Kirin 980 запускает детектор и использует информацию, полученную от гравитации, гироскопа и изображения для предварительного просмотра.

Для того, чтобы гарантировать максимально точное суждение, команда разработчиков Honor собрала огромное количество данных, начиная от предпочтений пользователей и заканчивая характеристиками различных штативов, чтобы помочь AI в анализе и моделировании.

Процесс обнаружения занимает 1/5 секунды, и лабораторные данные показывают, что его точность превышает 98%.

2. Самокорректировка фотометрии.

Обнаружив, что пользователь делает снимок с рук, Honor 20 Pro AI должен использовать фотометрию для создания специальных настроек для каждого из полученных снимков.

Проще говоря, фотометрия — это метод измерения относительной силы света. Наши глаза и мозг оснащены мощной и автоматической фотометрической системой. В сильном свете наши зрачки инстинктивно сокращают количество входящего света. С другой стороны, при слабом освещении наши зрачки будут расширяться по противоположной причине. Инженеры Honor использовали это универсальное явление в качестве модели для разработки полностью автоматической фотометрической системы AI, в которой телефон действует как зрительная кора головного мозга, управляя объективами камеры для восприятия окружающей среды.

При нажатии кнопки спуска затвора фотометрическая система AI использует важную информацию, полученную при распознавании сцены, освещенность и распределение источников света на экране предварительного просмотра, а также величину джиттера для автоматической настройки параметров экспозиции и количества кадров.

В условиях низкой освещенности при достаточном количестве света Honor 20 Pro устанавливает более короткое время экспозиции и меньшее количество кадров; когда окружающая среда темнее, Honor 20 Pro устанавливает более длительное время экспозиции и больше кадров. В то же время, когда джиттер мала, время экспозиции увеличивается, и наоборот.

Таким образом, настройки экспозиции работают как шеф-повар, готовящий еду. Перед добавлением специй шеф-повар должен попробовать приготовленные блюда, чтобы убедиться, что они имеют правильный вкус. AI автоматически проверяет, были ли выполнены требования ночной съемки. Если нет, то «специи» добавляются в виде коррективов, которые продолжаются до тех пор, пока не будут оптимизированы настройки экспозиции.

3. Ясность благодаря простым вычислениям.

Фотометрия AI позволяет нам получать точные экспозиции для нескольких изображений. Тем не менее, некоторые изображения все равно будут выглядеть размытыми. Таким образом, он фильтрует их по четкости, а также удаляет размытые. Это первый шаг для устранения джиттера.

Вторым шагом является выравнивание изображения. В течение двух-шести секунд экспозиции Honor 20 Pro сделает не менее десяти снимков, но поскольку рука пользователя неизбежно будет дрожать, даже слегка, визуальные элементы (такие как глаза, бусы, птица и т.д.) «двигаются» по изображениям. Поэтому элементы должны быть выровнены и наложены друг на друга таким образом, чтобы исключить эффект дрожания рук пользователя.

Неудивительно, что этот процесс требует огромных вычислительных мощностей. Например, более 12 миллионов тестов требуется для одного изображения в 12 МП. Для синтеза 20 кадров изображений требуется более 10 миллиардов вычислений. Чипсет Kirin 980 с двумя процессорами NPU обладает более мощными возможностями обработки изображений, чем его аналог, и может выполнять невероятное количество операций, необходимых для создания ночной фотографии высочайшего уровня.

4. Синтез изображений.

После выравнивания различных визуальных элементов последний шаг в режиме AIS Super Night заключается в объединении всех «одобренных» изображений в единое целое. При объединении или синтезе изображений искусственный интеллект обеспечивает отсутствие переэкспонирования более ярких областей и увеличение яркости темных областей с оптимальной четкостью и цветопередачей по всему изображению.

В процессе синтеза несоответствия обнаруживаются пикселями. Изображения, существенно отличающиеся от других, корректируются для обеспечения четкости и резкости конечного синтезированного изображения. Наконец, выполняется шумоподавление.

В дополнение к функции AIS Super Night, инновационному программному алгоритму, Honor 20 Pro также оснащён самой большой на рынке диафрагмой F/1,4, которая увеличивает потребление света примерно на 50% по сравнению со стандартной диафрагмой F/1,8 в большинстве других телефонов. Компоненты продукта работают в тандеме с передовым программным обеспечением, как часть системы оптической стабилизации изображения, чтобы обеспечить увеличение ее эффектов за пределами обычного. Это уникальное взаимодействие между алгоритмами искусственного интеллекта и современным оборудованием сделало возможным фотографирование абсолютной ночи при мысли о недостижимости, в результате чего камеры смартфонов оказались в темноте, а пользователи — в свете.