Зачем три камеры в смартфоне

Сейчас найти в продаже более-менее дорогой смартфон с одной камерой на задней панели — задача практически невыполнимая. Почему? Потому что несколько фотосенсоров позволяют делать то, на что один-единственный сенсор не способен. И подходов к реализации этой идеи много.

В этой статье мы расскажем о том. зачем в абсолютном большинстве топовых и многих среднебюджетных смартфонах устанавливают по две, три и даже четыре камеры. С каждым месяцем производители выпускают все более дешевые мобильники с этой «фишкой», так что разобраться в ее смысле лишним не будет.

Подход «Две (три, четыре) лучше одной»

Разные фотомодули и объективы могут исполнять разные роли. Объектив с низкой апертурой и широким углом обзора отлично справится с детальным захватом объекта, который находится вблизи, но плохо покажет себя во время съемки движущейся цели. Длинный объектив позволит снять что-нибудь на удалении, но пропускает на сенсор меньше света.

Дело тут еще и в том, что смартфоны — штуки по сравнению с полноценными камерами очень миниатюрные. Фотомодуль не может иметь толщину больше нескольких миллиметров, что накладывает на инженеров серьезные ограничения. Добавление нескольких камер — отличный способ эти ограничения обойти.

Основная камера Galaxy S9 использует два одинаковых сенсора, но два разных объектива.

Кроме того, очень важно помнить о роли постобработки картинки. Производители смартфонов соперничают не только в том, сколько камер и какие объективы устанавливаются в их девайсы, но и в эффективности работы сверхсложных алгоритмов, которые отвечают за удачное и корректное комбинирование всей информации, полученной с разных сенсоров. У Google, Sony, Samsung и других они абсолютно разные.

В итоге изображение, полученное с использованием нескольких камер, просто объективно становится лучше обычного — благодаря постобработке в нем совмещаются преимущества сразу нескольких фото, а минусы разных объективов и сенсоров нивелируются. Именно так, к примеру, работает технология HDR — несколько фотографий делаются с разными настройками уровня экспозиции, а результатом становится HDR-картинка с широким цветовым диапазоном.

Благодаря нескольким сенсорам улучшаются все параметры фото (и видео, но там используются другие, менее качественные и более быстрые алгоритмы) — и детальность, и уровень шумов, и степень размытости, и баланс цветов. Стоит лишь помнить о том, что наличие двух и более камер совсем не гарантирует приятный глазу результат — правильно настроенные алгоритмы постобработки важны даже больше.

Один из примеров работы таких алгоритмов — эффект «боке», который в большинстве случаев работает совсем не так, как на традиционных зеркальных камерах. Камеры смартфонов просто «умно» размывают фон изображения — с переменным успехом. Иногда это приводит к поразительным результатам, а иногда — к появлению странных артефактов (например, iPhone на одной из старых версий прошивки могли добавить маленьие зубы на зубы улыбающегося человека).

Камеры смартфонов способны на многое, но с одним они справляются откровенно плохо — с приближением картинки. Из-за своих размеров объективы мобильников просто не в состоянии менять фокус и захватывать достаточно информации. Исключением можно считать разве что странные решения вроде того, которое использовали в Samsung Galaxy S4 Zoom, а они попросту не прижились.

Что ж, использование двух и более фотосенсоров позволяет решить и этот вопрос, как минимум в какой-то мере. Вспомогательный объектив современных смартфонов часто предназначен именно для этого. Результат не сможет посрамить профессиональную цифровую камеру с полноразмерным объективом, но он все равно гораздо лучше, чем результат, полученный с использованием обычного цифрового зума (а он просто увеличивает картинку с использованием сравнительно примитивных алгоритмов).

К примеру, Apple называет основную камеру топовых iPhone «широкоугольной», а вспомогательную — «телефото». Именно вспомогательная помогает приближать изображение примерно вдвое без особой потери качества.

Обычно вторичный (или один из трех-четырех) сенсоров имеет отличный от основного показатель светопропускания — соотношение апертуры и диаметра объектива. Здесь в дело тоже вступают алгоритмы, без которых комбинация двух картинок была бы просто невозможной. Разные производители добавляют к этому всему свои «фишки» — к примеру, Samsung позволяет «дополнить» приближенную картинку отсутствующими участками, которые сняты основным модулем и обработаны отдельным алгоритмом, чтобы лучше соответствовать изображению со вторичного.

Подход «Волшебник страны Оз»

Окей, «Волшебник страны Оз» — не совсем технический термин. Просто так мы бы предложили назвать подход, при котором одновременно используются цветные и монохромные (черно-белые) фотосенсоры.

Обычные настройки фото в таких смартфонах позволяют получить фотографию с более высоким уровнем деталей — опять-таки, пресловутые алгоритмы берут информацию с монохромного снимка и добавляют ее в цветной, в итоге заметно его улучшая.

Читайте также:  Как включить перенос слов в ворде 2007

Изображения, полученные монохромным сенсором и цветным сенсором Essential Phone.

Опять-таки, здесь очень много зависит именно от реализации алгоритмов. Помимо повышения уровня детальности картинки монохромный сенсор еще и позволяет быстрее работать системе автофокуса, а также даже показывать пользователю результат работы нескольких объективов в реальном времени.

Некоторые компании — например, Huawei со своим P20 Pro — используют сразу несколько описанных нами подходов. У P20 Pro три сенсора — 20-мегапиксельный основной, вспомогательный с тройным зумом и монохромный, который улучшает четкость финального изображения.

А в Samsung Galaxy A9 (2018) и вовсе установлено сразу четыре камеры. Все они имеют разные характеристики — фокусное расстояние, светопропускаемость и так далее. Этот девайс, несмотря на свою относительную «бюджетность», благодаря обилию возможностей позволит «разгуляться» даже фотографу-энтузиасту.

Примеры такого подхода: Huawei P20, P20 Pro, Honor 10

Подход Google Pixel и будущее индустрии

А что же Google с ее флагманскими Pixel 3 и Pixel 3 XL? Эти модели числятся топовыми и используют всего одну камеру на задней панели — почему? Что ж, здесь все предельно просто.

Google — компания, которая, пожалуй, в ходе своей деятельности собрала больше информации, чем любая другая организация, когда-либо существовавшая на нашей планете. В ее распоряжении — тысячи, миллионы и миллиарды фотографий и видео, на которых с помощью мощных серверов тренируют ИИ-алгоритмы.

Понимаете, к чему это все? Google считает (и вполне обоснованно — просто взгляните на рейтинг DxOMark), что алгоритмы — вообще всему голова, и им достаточно всего одной картинки, чтобы творить чудеса. И получается! Достаточно посмотреть на необыкновенные результаты работы «ночного режима» камеры Pixel 3 или ее портретные снимки. В общем, этот подход тоже пока имеет право на существование. Получится ли у этих алгоритмов еще более впечатляющий результат, если Pixel 4 будет иметь два или три фотомодуля? Все зависит от инженеров Google и ее желания идти на риск. Ну а пока что ее девайсы и так находятся чуть ли не впереди всех конкурентов.

Что дальше? А дальше все станет еще интереснее. HMD Global, к примеру, на выставку Mobile World Congress 2019 в Барселоне привезет новый флагманский смартфон Nokia 9 PureView, который получит целых пять камер. Для чего они все будут нужны? Пока не ясно. А еще в 2019 в смартфонах начнут использовать специальные сенсоры типа 3D Time-of-flight, которые с помощью измерения скорости движения света к объекту и обратно позволяют вычислить глубину его расположения в кадре. Эти сенсоры в сочетании с традиционными должны сделать фото еще более реалистичными и детальными.

Как же выбрать смартфон, который снимает фото и видео лучше остальных? Раньше основным советом было «не ведитесь на количество мегапикселей», а теперь к нему добавляется еще и «не ведитесь на количество камер». Главное — результат, так что просто оцените его по обзорам специалистов. Например, той же лаборатории DxOMark.

Компания Huawei весной представила новый флагман P20 Pro. Он стал первым смартфоном, получившим 3 камеры. В нем они используются для оптического и комбинированного приближения кадра, а также повышения детализации снимков. Подробнее о камере P20 Pro можно почитать тут.

Huawei P20 Pro стал первым смартфоном с тройным модулем, но им дело не заканчивается. В скором времени должны выйти Huawei Mate 20 Pro, Samsung Galaxy A7, LG V40 TinQ и другие аппараты. Все дело в том, что конструкция действительно перспективная и способна поднять качество фото.

Больше камер — лучше

Универсальность качественных фотокамер обусловлена поддержкой сменных объективов, подвижной оптикой и большими размерами матриц и линз. В смартфон такие не установишь, ведь места мало, габариты серьезно ограничивают. Поэтому приходится идти экстенсивным путем развития, увеличивая не сами камеры, а их количество.

3 камеры, оборудованные матрицами разного размера и линзами с разным фокусным расстоянием, позволяют осуществлять оптическое приближение кадра. Если двойная конфигурация (как у iPhone X, Galaxy S9 или Xiaomi Mi 8) имеет один шаг смены фокусного расстояния (от x1 до x2), то с тройной — этих шагов уже можно сделать два (с x1 до x2 и x3 или x5, как у LG V40 ThinQ). В итоге смартфон становится еще ближе к полноразмерным фотокамерам.

Помимо разного фокусного расстояния, камеры можно оснащать оптикой с разной апертурой. Samsung уже научилась делать переключаемую диафрагму (с F/2,4 до F/1,5), но больше шагов реализовать в миниатюрном корпусе модуля проблематично. Если матриц будет две, то можно сделать одновременно и зум, и сменную апертуру, с переключением каждого параметра на один шаг.

А вот если их будет три — шагов можно сделать больше, к примеру, один сенсор отвечает за зум, второй умеет переключаться между F/1,4 и F/2, а третий — между F/2,4 и F/2,8. Таким образом, смартфон будет поддерживать и оптический зум, и целых 4 стопа диафрагменного числа.

Можно сделать и наоборот: оснастить основной модуль переключаемой диафрагмой, а вспомогательные — приближающей оптикой. В этом случае стопов апертуры будет два, но шагов зума — три, а то и 4 или 5 (с комбинированием и кропом кадра). Инженерной фантазии есть где разгуляться, главное, чтобы места в смартфоне хватило.

Читайте также:  Драйвер для xbox 360 controller

Комбинирование картинки с нескольких матриц позволяет повысить качество снимков, их детализацию, удалить шумы и артефакты. Huawei использует в качестве третьей камеры монохромный модуль, который благодаря отсутствию байеровского фильтра ловит больше света. Аналогичную функцию поддерживают современные чипсеты Qualcomm, у которых она называется ClearSight.

В Galaxy A7 (2018) одна матрица будет базовой, вторая — использоваться для замера глубины кадра, а третья — для съемки панорамных сцен (как второй модуль LG V20). Другие, наверняка, будут использовать несколько иную конфигурацию, но с такими же, а то и более широкими возможностями.

К примеру, пара из черно-белой и цветной матриц повысит качество фото в обычном режиме, а камера номер 3 будет отвечать за зум, широкоугольную съемку, замер глубины для эффекта боке, или иной режим работы. Если учесть также развитие алгоритмов ИИ в современной электронике — уже в скором времени мы сможем наблюдать ситуации, когда снимки со смартфона с 3 или 4 камерами будут выглядеть не хуже (а то и лучше) кадров, снятых на однообъективную зеркалку непрофессионалом.

Используя 3 камеры, производителю не нужно выбирать, какую из функций реализовать: ч/б модуль для повышения детализации или длиннофокусный — для зума. «И овцы сыты, и волки целы», как говорится… Поэтому в скором времени наверняка можно ожидать появления на рынке все большего количества смартфонов, у которых 3 камеры. Китайцы уже делают подобные устройства, но в случае с дешевыми аппаратами малоизвестных брендов возможности этой троицы, наверняка, будут далеки от максимальных.

За последние два года мы стали свидетелями массового внедрения технологий с двумя камерами в большинстве сегментов смартфонов, почти у всех производителей. Мы видели двойные камеры, установленные как спереди, так и сзади, в различных конфигурациях для различных конечных целей. Недавние рыночные отчеты показывают, что 30% смартфонов в 2018 году будут использовать технологии с двумя камерами, увеличившись до 50% в следующем году. Несмотря на то, что производителям смартфонов понадобилось более десяти лет, чтобы добавить вторую камеру, кажется, что добавление третьей камеры находится за углом, в течение двух лет после принятия второй камеры.

В этом материале мы обсудим некоторые мотивы для добавления третьей камеры в комплекс изображений для смартфонов, проблемы, которые она приносит, и некоторые возможные решения. Итак, зачем три камеры на телефоне, поехали!

Путь к двойным камерам в смартфоне

Толщина смартфонов всегда была проблемой для мобильной фотографии. Размер апертуры крошечный, размер пикселя становится все меньше и меньше по мере продвижения технологии, а автофокусировка и стабилизация изображения по-прежнему необходимы, чтобы добиться хорошего снимка. До недавнего времени OEM-производители смартфонов пытались достичь достойной низкой освещенности, высокого разрешения и низкое SNR, даже при масштабировании, с высотой камеры 6 мм.

Технологии с двумя камерами пришли на помощь и бросили вызов производителям модулей камер и OEM-производителей смартфонов следующим образом: если одна камера полностью достигла своего потенциала, почему бы не синтезировать результаты двух камер, чтобы каждый мог внести свой вклад в итоговое изображение?

Первые дни смартфонов с двумя камерами начались с запуска HTC One (M8), первого смартфона для использования двух задних камер, с единственной целью — включить эффект глубины и фокуса на результирующем изображении.

Эта первая фаза двойных камер продолжалась до середины 2016 года, в то время как различные OEM-производители тестировали технологии двух камер на некоторых своих флагманских смартфонах, используя разные настройки двойной камеры, в том числе только для глубин, RGB-Mono и Wide-and-Wider duos. По-прежнему не было обнаружено ни одного «приложения-камеры-убийцы», а также двухуровневой конфигурации с двумя камерами.

В сентябре 2016 года Apple представила iPhone 7 Plus, который использовал двойную заднюю. Apple удалось пролить свет на определенную конфигурацию с двумя камерами, Wide + Tele, в качестве камеры премиум-класса, и выделил две функции фотографии, наиболее востребованные потребителями: оптический зум и цифровой боке (или «портретный режим»). С тех пор перечень смартфонов с двумя камерами сформировался, и в качестве премиальных и флагманских телефонов используются аналогичные дуэты, в то время как модели среднего и младшего класса допускают только эффекты функции глубины.

Что дает тройная камера в смартфоне

Хотя смартфоны с двумя камерами стали товаром в сегменте элитного рынка, все еще есть новые топологии с двумя камерами, которые дебютируют в самом ближайшем будущем, чтобы еще больше улучшить сегодняшнюю производительность двух камер. Одним из примеров следующего поколения эволюции двойной камеры, является использование сложенной архитектуры камеры, которая может не только значительно улучшить коэффициент масштабирования и низкую светоотдачу, но и позволить еще более низкую высоту камеры для более тонким смартфоном. Ранний прототип этой технологии, смартфон с 5-кратным увеличением, был обнародован OPPO в 2017 году.

Читайте также:  Импульсный сварочный аппарат своими руками схема

Еще одним интересным градиентом в эволюции камеры смартфона может быть использование комплекса с тремя камерами. Легче сказать, чем сделать, добавление этой третьей камеры несет значительные проблемы (и преимущества), открывая широкий спектр возможностей и конфигураций для производителей смартфонов.

Итак, какие проблемы сулят три камеры в смартфоне?

Проблема 1: «Недвижимость» и стоимость

Три камеры увеличивают стоимость материалов системы и занимают дополнительное пространство за счет других технологий, которые могут быть интегрированы в мобильное устройство (например, ИК-датчик, датчик приближения, большая батарея и т. д.).

Это наказание почти неизбежно, но OEM-производители должны будут взвесить его против общей стоимости, в зависимости от приоритетов целевой аудитории. Добавленная стоимость третьей камеры напрямую зависит от конфигурации камеры, как объясняется далее в этой статье, и может колебаться от 10 до 30 долларов.

Проблема 2: Калибровка

Чтобы обеспечить беспрепятственный пользовательский интерфейс в видео / предварительном просмотре и избежать артефактов или длительных периодов обработки при слиянии изображений или боке, камера должна быть тщательно откалибрована как для внутренних, так и для внешних свойств системы формирования изображений с тремя апертурами. Эта калибровка должна выполняться как часть производственной линии камеры, тщательно и, возможно, даже непрерывно и автономно выполняться для компенсации физических динамических изменений, таких как отклонения температуры и влияние падения устройства.

Калибровка системы камер и синхронизация между кадрами добавляют задачу для разработчиков модулей камеры, а также для OEM-производителей в этой более сложной системе камер. В случае, если все три камеры должны быть полностью откалиброваны по отношению к другим, процесс сборки камеры должен быть тщательно разработан. В свою очередь, это напрямую влияет на общую стоимость камеры.

Проблема 3: Прошивка, алгоритмы, мощность

Система с тремя камерами также требует большей сложности на стороне прошивки. В новой структуре придется иметь дело с тремя камерами, которые должны работать как одна. Процессы, такие как управление питанием, запрос кадра, управление памятью и другие в диспетчере камер, будут иметь дело с большей логикой, большим количеством данных и возможностью параллельной обработки в конвейере.

С другой стороны, алгоритмы имеют схожие проблемы. Они включают в себя обеспечение разумного времени обработки и предоставление артефактов нулевого качества изображения, полученных в результате нескольких входов от нескольких камер, причем все они имеют дело с неточностями синхронизации кадров, окклюзий и дефектов в данных калибровки трех камер.

В результате этих сложностей потребление энергии для всей системы (камеры + платформа обработки) этой конфигурации может сильно пострадать.

Как работает тройная камера на смартфоне

Монохроматическая камера может предложить больше диагонального разрешения, просто не используя фильтр Bayer, который обычно помещается над пикселями сенсора в цветной камере. В этой системе воспроизведение цвета может быть достигнуто с помощью цветных камер.

Размер пространственной выборки (т.е. размер пикселя) монофонической камеры по сравнению с широкоэкранной камерой также будет способствовать общей мощности этой подсистемы двойной камеры.

Третья камера позволит получить еще больше централизованного разрешения, исходящего из его телеобъектива.

Повышенная производительность при низкой освещенности возникает из-за относительно низкой апертуры всех трех задействованных камер. Сливая выходной кадр цветной камеры с монохромным выходным кадром камеры, который получает в два раза больше света, чем первый, также может значительно улучшить SNR. Это двухкратное усиление при освещении является результатом не использования матрицы цветных фильтров, в которой каждый пиксель фильтруется, чтобы записывать только один из трех цветов за счет суммарного потенциального поглощения света.

Другим очевидным преимуществом этой предлагаемой конфигурации по сравнению с существующими двойными камерами увеличения является большое перекрывающееся поле зрения (FoV). Эта функция позволяет измерять глубину звука во всем широком диапазоне FoV для различных приложений, таких как дополненная реальность, а также цифровое боке (эффект мелкой глубины резкости).

Очевидный недостаток такого режима мощности может проявляться в виде относительно высокой задержки затвора во время неподвижного захвата и без улучшенных характеристик низкой освещенности во время видеозаписи. Кроме того, важно внимательно следить за потреблением энергии в такой системе камер, избегая при этом беспрепятственного потребления энергии от трех камер одновременно.

Порядок работы камеры влияет на производительность системы. Например, размещение широкой цветной камеры в середине позволяет более плавно переходить от широкоугольных к телекамерам во время видеозаписи, а также упрощает процесс слияния между двумя соседними камерами (цветными и монофоническими). Такая компоновка будет зависеть от точности определения глубины стереофонической глубины, которая может быть улучшена путем размещения широкой цветной камеры и широкой моно камеры на противоположных концах.

Эта камера может быть очень подходящей для любителей путешествий. Например, в случае захвата открытого пейзажа сверхширокоугольный объектив позволяет избежать типичного режима захвата панорамы. В то же время возможность захвата мелких деталей во время масштабирования чрезвычайно полезна. С сегодняшними смартфонами пользователи должны решить, предпочитают ли они высококачественную оптическую масштабируемость или сверхширокие изображения; не так с этой конфигурацией трех камер.