Видеокарты. Как работает автофокус в смартфоне

Со всем ажиотажем вокруг анонса Google Pixel 2 и Pixel 2 XL и их самого высокого рейтинга среди камер смартфонов в мире легко потерять мелкие нюансы. Что важно знать об этом новом телефоне? Где Google оставили нам что-то, где мы будем желать большего? Чем камера этого телефона лучше, чем его предшественника?

Dual Pixel AF

Новые смартфоны Pixel оборудованы датчиками изображения, Работающими с технологией, подобной той, что используется в камерах Canon. Под массивом микролиз на сенсоре находятся двойные пиксели. Это позволяет камере видеть объёмное изображение, как мы видим двумя глазами. Это может быть использовано для очень быстрой фокусировки. Данная технология является разновидностью фазовой автофокусировки.

Это официально называется Dual Pixel AF и у данной технологии есть потенциал, чтобы предложить целый ряд преимуществ по сравнению со смартфонами Apple. В традиционной системе для фокусировки используются не все пиксели, но в случае с Dual Pixel, работает вся матрица. Такой же механизм используется на Samsung Galaxy S7 и на камерах Canon. Таким образом, быстрый автофокус для фото будет реализован даже в условиях низкой освещенности. Также фокусировка будет очень плавной в видео. Учитывая то, насколько хороша стабилизация в Pixel 2 при съёмке 4K-видео, вы можете даже создавать видео профессионального качества, снятое на телефон.

Dual Pixel + машинное обучение

Двойные пиксели имеют другую функцию. Левые и правые пиксели под каждой микролинзой по существу получают изображение с двух различных точек обзора. Картинка получается слегка сдвинута соответственно левым и правым пикселям. Алгоритм Google затем строит элементарную карту глубины, используя этот набор разных изображений и некоторую помощь своих алгоритмов машинного обучения.

Несоответствие между двумя изображениями, вероятно, будет очень мало по сравнению с тем, что получают смартфоны с двойной камерой. Из-за этого Pixel 2 сложнее отличить фон от субъекта для более удаленных объектов. Это могло бы объяснить плохие результаты имитации размытия фона в тестах DxO, но результаты становятся намного лучше, когда объект приближается к камере.

Портретный режим iPhone 8 Plus (кликните для поросмотра в полном разрешении)
Портретный режим Google Pixel 2 (кликните для поросмотра в полном разрешении)

В Pixel 2 в портретном режиме на выходе создаются файлы разрешением 12MP. Первая версия смартфона могла генерировать фото в разрешении только лишь 5MP. Эффект размытия стал более реалистичным. Кроме того, алгоритм размытия от Google использует более сложный процесс создания малой глубины резкости, чем размытие по Гауссу на смартфонах Apple. За лучшее качество приходится платить. Алгоритм размытия не может создавать снимки в реальном времени, как смартфоны Apple. Придётся немного подождать, пока происходит обработка файла.

Выносливое аппаратное обеспечение

Аппаратные характеристики на новых телефонах Pixel 2 не лучше, того, что мы видели в других телефонах. Это хорошие устройства. Корпус выполнен по стандарту IP67, что даёт защиту от пыли и кпель воды. Это большой шаг по сравнению с предыдущей моделью Pixel, которая имела корпус с защитой IP53.

Мы потеряли разъем для наушников, но получили стереодинамики в передней части. XL имеет меньше рамку вокруг дисплея, но она ещё не так мала, как в смартфонах Samsung. Нет двойной-камеры. RAM и процессор аналогичны тем, что используются в других телефонах на Android.

Ничего на самом деле не выделяется. Но подождите, есть ещё кое что.

AI

Если есть одна вещь, о которой постоянно в своих выступлениях говорит генеральный директор Google Сундар Пичай. Он пытается заставить людей думать о смартфонах не как о карманных устройствах, а интеллектуальных помощниках, которые могут адаптироваться к нашим потребностям и делают нашу жизнь проще. И в этом Google является лидером благодаря данным, которые он приобретает от своих поисковых сервисов и приложений, таких как карты и фотографии.

AI все чаще используется во многих сервисах, чтобы сделать их лучше. Генеральный директор Пичай недавно привел пример из фитнес-приложения: каждый раз, когда он открывает его, он переходит на другую страницу. Но вместо того, чтобы иметь команду приложения для изменения страницы по умолчанию, он полагает, что ИИ должен просто узнать ваши предпочтения и сделать то, что вы делаете обычно вручную.

Что это значит для фотографии и видеографии? Представьте себе камеру, обученную вашему вкусу в фотографии. Камера может знать, как вы обрабатываете фото, какие снимки создаёте и какие фильтры используете. Как насчёт обучения вашего вкуса в музыке. Когда Google Assistant автоматически делает видео из библиотеки фотографий он сможет использовать ту музыку, которую вы любите.

Возможности безграничны, и мы, вероятно, увидим много интересных вещей в новых телефонах Pixel.

Google Lens

Сундар Пичай впервые говорил о Google Lens на конференции разработчиков I/O в начале этого года. Это объединение машинного зрения и искусственного интеллекта. Теперь данный механизм впервые доступен в приложении Фотографии и в Google Assistant на новых телефонах Pixel. Алгоритмы машинного зрения Google могут проанализировать то, что видит камера, и использовать искусственный интеллект, чтобы делать классные вещи, как определить, какой тип цветка у вас в кадре. Благодаря искусственному интеллекту улучшилась способность автоматической идентификации объектов в сцене.

Как только устройство понимает, что это за объект в кадре, какова его форма, он может сделать с ним интересные вещей: убрать его, изменить освещение, найти его среди множества снимков. Приложение Фотографии уже может находить снимки самолетов, дней рождения, еды, животных, вина и многого другого.

Интеллектуальное распознавание объекта может даже устранить блики, с корторыми были проблемы в предыдущей версии смартфона… хотя это не является проблемой нового Pixel 2.

До свидания уродливые блики

К счастью, неприятные проблемы с бликами, которыми грешили предыдущие смартфоны Pixel, по всей видимости, можно устранить путем выдвижения модуля камеры над стеклянной подложкой, которая также была уменьшена и стала обтекаемой.

Проблемы с бликами Pixel первого поколения

Модуль камеры немного выступает. Это не слишком хорошо для современного смартфона, но данное решение позволило сделать камеру лучше. На этот компромисс мы готовы пойти.

Невероятно плавное видео

Когда был выпущен первый Pixel, Google утверждал, что их камера по стабилизации станет более качественной, чем у других смартфонов с оптической стабилизацией изображения (OIS), несмотря на отсутствие OIS. Также отсутствие оптической стабилизации в смартфоне первого поколения позволило сделать модуль камеры меньше и уместить его в тонкий корпус.

В этом году Google поёт другую песню. Программное обеспечение для стабилизации эволюционировало и стало лучше, но в дополнение к электронной стабилизации изображения (EIS) в большом блоке камеры нашлось место для OIS. Но это дало впечатляющие результаты. Оригинальные Pixel уже имели очень хорошую стабилизацию. в видео, даже 4K, но сочетание OIS + EIS позволило сделать видео ещё более гладким.

При съёмке в условиях низкой освещённости OIS должен помочь стабилизировать камеру для более длинных выдержек. Вы должны также получить лучшие результаты в макросъёмке.

Управление цветом?

Сейчас всё чаще поднимается вопрос о цветопередаче дисплеев и о правильном управлении цветом на новых телефонах. Предыдущие Pixel имели красивые OLED дисплеи, но цвета были дико неточными и часто слишком насыщенными из-за отсутствия какого-либо управления цветом или соответствующих калиброванных режимов отображения.

У iPhone одни из самых точных экранов в плане цветопередачи. Их экраны с широкой цветовой передачей покрывают большую часть гаммы DCI-P3, но, что более важно, iOS может автоматически переключаться между различными режимами для правильного отображения цветов. Переключение происходит между SRGB и DCI-P3 на лету.

Это означает, что вы будите просматривать фотографии и фильмы с теми цветами, которые были задуманы изначально создателями. Это также означает, что когда вы отправляете изображение с вашего iPhone для печати, напечатанные снимки будут содержать такие же цвета. Хотя на бумаге всё будет выглядеть немного темнее, но это только потому что напечатанные фото не подсвечиваются так же как дисплеи.

Samsung Galaxy S8 также откалиброван для режимов DCI-P3 и SRGB, хотя вам придется вручную переключаться между ними. Касательно Pixel 2 не было никаких заявлений об управлении цветом, хотя новая версия Android Oreo предоставляет возможность управления цветом, хотя, как и Windows, оставляет это для приложений. Но без правильного профиля дисплея непонятно как можно будет получить точные цвета.

HDR дисплей?

К сожалению, не было никакого упоминания о 10-битных изображениях или HDR отображении фотографий или видео с использованием HDR10 или стандартов Dolby Vision. Это оставляет желать лучшего.

iPhone X будет воспроизводить HDR-видео с использованием нескольких потоковых сервисов, но что более важно для фотографов, он будет отображать фотографии в режиме HDR. Помните, что это не имеет ничего общего со съёмкой HDR.

Проще говоря: фотографии, сделанные на iPhone X и просмотренные на iPhone X будут выглядеть более качественными и иметь больше тонов, чем на других устройствах благодаря поддержке HDR-дисплеев и точной цветопередачи. Это важно и Google, похоже, упустил это.

HDR дисплеи требуют меньше усилий в работе со светом и тенью. Вместо того, чтобы осветлять тёмные участки и опускать яркость светлых, такие дисплеи могут сразу отображать полный спектр деталей в разных участках.

Ограниченное неограниченное хранилище Google Photo

Когда Google объявила смартфон Pixel 2 с наивысшим рейтингом камеры по тестам DxO, компания также сказала, что все владельцы новых устройств получат неограниченное хранилище для снимков с Pixel 2 в Google Фото. Но оказывается, что есть кое что, написанное мелким шрифтом: вы получите безлимитное хранилище только до 2020 года.

«Свободное, неограниченное хранение оригинального качества фотографий и видео, снятых с Pixel доступно до конца 2020 года, и свободное, неограниченное хранение высокого качество для фотографий, сделанных с Pixel впоследствии.»

Google Фотографии уже предлагает бесплатное и неограниченное хранилище для тех, кто прямо сейчас его использует, давая согласие сжимать фотографии до 16 мегапикселей и видео до 1080p. Если вы решили загрузить данные в полном разрешении, файлы будут засчитываться в 15GB лимита для бесплатного хранения на все службы Google.

Если вы покупаете Google Pixel 2, вы получите возможность обойти эти пределы разрешения и хранить неограниченное количество фотографий и видео в оригинальном разрешении независимо от того, насколько велики файлы. Но это будет доступно только на протяжении трёх лет.

При наступлении 2021 года фото, сделанные на Pixel 2 останутся в прежнем разрешении, но все новые снимки будут загружаться с уменьшением размера до 16MP.

«После 2020 года не будет никаких изменений в фотографиях, которые вы сделали до 2020 года, и вы всегда будете иметь доступ к ним в оригинальном качестве,» сообщает представитель Google. «Мы знаем, что люди, как правило, меняют свой телефон каждые 2-3 года, поэтому для Pixel 2 мы предлагаем хранение данных в соответствии с этим».

Так что если вы готовы приобрести Pixel 2 или Pixel 2 XL, просто знайте, что владение телефоном не даст вам бесплатный вечный архив всех воспоминаний вашей жизни в полном разрешении.

Google Pixel 2 (XL) стал смартфоном, который создавался с упором на искусственный интеллект. И даже камера Pixel 2 получила выгоду от подобного переосмысления. Например, с помощью ИИ компании удалось создать портретный режим, который способен обрабатывать фотографии программно без использования дополнительной камеры. И Pixel 2 — первый в мире смартфон, который способен делать подобное. Но как это возможно? С коллегами из phonearena мы попытаемся разобраться в данном вопросе.

Так работает портретный режим 12-Мп камеры Pixel 2:

Такой результат удалось получить с помощью трех этапов:

• Маска сегментации
• Карта глубины

HDR+

HDR — высокий динамический диапазон. Режим HDR работает с двумя изображениями, которые имеют различную экспозицию (светлый кадр и темный кадр), комбинируя два кадра в один. Режим HDR+ гораздо сложнее. Он берет не две, а до десяти фотографий, которые сделаны при недостаточной экспозиции, чтобы на выходе при комбинации всех изображений получилась картинка без пересветов. Именно поэтому режим HDR+ работает так долго.

В случае с портретным режимом сделанная фотография первым делом проходит через режим HDR+, а дальше за дело берется ИИ.

Искусственный интеллект

Чтобы выбрать, какая область должна быть в фокусе, а какая нет, смартфон использует искусственный интеллект. Google натренировала нейронную сеть с помощью миллиона фотографий таким образом, чтобы она могла различать людей, животных, цветы и другие подобные объекты, задавая веса каждому нейрону.

Карта глубины

Выделить объект на изображении недостаточно. Нужно знать, как сильно размывать объекты в фоне, ведь одни могут располагаться ближе, другие, наоборот, дальше. То есть нужна карта глубины.

Удалось ее получить с помощью технологии Dual Pixel. Суть технологии заключается в том, что каждый пиксель разделен на два субпикселя, каждый из которых получает информацию под незначительно иным углом. Разница в углах позволяет определить расстояние до объекта. Эту же технологию использует Samsung в S7 и S8, чтобы быстро фокусироваться на объекте. И с технической точки зрения Samsung может реализовать портретный режим в S7 и S8, опираясь на аппаратные особенности камер данных смартфонов.

На выходе получаем такой результат:

Чем область светлее, тем она ближе к объективу камеры, и наоборот

Итоговый результат радует глаз. Но есть один небольшой нюанс. В случае с фронтальной камерой карту глубины получить не удастся, так как она не использует технологию Dual Pixel, поэтому результат будет не таким хорошим, как с основным модулем.

Google можно похвалить за то, что им удалось реализовать подобное без использования второго модуля камеры, а ведь это куда сложнее, нежели попросту внедрить второй модуль.

По материалам phonearena

Одним их настоящих нововведений в новых флагманах Samsung Galaxy S7 стала камера, которая подверглась существенным доработкам. Разрешение ее матрицы уменьшилось с 16 до 12 МП, зато диаметр пикселя вырос до 1,44 мкм, а светосила увеличилась до f/1,7. Но главным прорывом стало внедрение системы автофокуса Dual Pixel, ранее доступной только в профессиональных «зеркалках». По заявлениям производителей, инновация позволяет камере S7 фокусироваться на объектах в кадре значительно быстрее, и более качественно обнаруживать их контуры.

Чем особенна система Dual Pixel, действительно ли она является революционной, или же это – всего лишь очередной маркетинговый ход, поможет разобраться этот короткий материал.

Немного теории

В цифровых камерах (как выполненных в виде самостоятельного устройства, так и встраиваемых в электронику) получили распространение два вида автофокуса: пассивный и активный.

Первый пасивный вид автофокуса функционирует по принципу анализа контраста картинки, попадающей на матрицу. При фокусе на указанную точку процессор устройства обрабатывает оптические данные с этого участка, подбирая оптимальный контраст. Такой автофокус используется в большинстве мобильных камер, а также бюджетных мыльницах. Недостатками системы являются медлительность, не всегда корректное срабатывание, неспособность качественно запечатлеть объект в движении.

Второй тип автофокуса – активный , который может быть фазовым или лазерным. В последние пару лет оба принципа начали набирать популярность не только в сегменте DSLR, но и любительской фототехнике, добравшись даже до смартфонов. При лазерном автофокусе матрица камеры оснащена своего рода дальномером, луч которого позволяет анализировать трехмерное пространство, сохраняя его глубину на снимке.

Фазовый автофокус предполагает разделение оптического тракта на две части, для последующего их сравнения и выравнивания. Фокусировка производится на основе анализа разности фаз по этим двум каналам, отсюда и название технологии. За эту функцию отвечает специальный сенсор, который находится возле матрицы на таком же расстоянии от объектива. Именно подобный механизм и стал предтечей технологии Dual Pixel.

Ранее такой метод был доступен только в полноразмерных зеркальных камерах, так как требовал применения дополнительных сенсоров и их точного расположения. Но тенденция к уменьшению в области полупроводниковых технологий сделала возможной установку датчиков прямо на матрицу.

Технология Dual Pixel, примененная в смартфоне Samsung S7, является именно разновидностью фазового автофокуса, но есть в ней и свои отличия.

Чем отличается Dual Pixel в S7 от фазовой фокусировки в камерах других смартфонов?

Главным отличием камер смартфонов от матриц зеркалок является миниатюрный (в 5-15 раз меньший) размер. Поэтому технология фазового автофокуса имеет свои ограничения: чтобы оснастить отдельным фокусным сенсором каждый пиксель, придется уменьшить его размеры, что приведет к появлению большего количества шумов и артефактов. Поэтому датчиками оснащаются только 5-10 % от общего числа светочувствительных точек.

Dual Pixel в Galaxy S7 отличается тем, что благодаря увеличению размеров пикселя стало возможным оснащение каждого пикселя отдельным датчиком.

Мощный процессор смартфона в режиме реального времени отслеживает показания каждого пикселя, позволяя производить фокусировку значительно быстрее. Так что по сути, Dual Pixel в S7 – это не более, чем полноценная реализация уже проработанной технологии. Тем не менее, отрицать ее инновационность нельзя, так как в смартфонах подобное встречается впервые.

Как работает автофокус Dual Pixel в камере Galaxy S7

Компания Samsung презентовала видео, где в условиях специального тестового стенда показаны различия в работе автофокуса камер южнокорейских смартфонов. На примере сравнения Galaxy S6 и S7 видно, что новая технология Dual Pixel позволяет значительно быстрее сосредоточиться на кадре, сделав его четким и контрастным.

На видео хорошо видно, как в условиях резкой смены дистанции Dual Pixel в S7 практически мгновенно отображает картинку во всех деталях, в то время как камере S6 требуется время, которое может составить около секунды. Если при съемке на смартфон пейзажей или людей, которые стоят, этот промежуток можно считать несущественным, то при фотографировании движущихся объектов – каждая доля секунды имеет значение. Таким образом, можно констатировать, что Dual Pixel – действительно важное нововведение, которое преподносит мобильное фото на новый уровень.

Статьи и Лайфхаки

Впервые реализованная в флагманском смартфоне Samsung Galaxy S7 технология Dual Pixel пришла в мобильные устройства из цифровых камер, так что такое решение по-настоящему инновационным назвать нельзя.

Именно в то время многие «фичи» камер зеркалок начали постепенно внедряться и в гаджеты.

Что-то приживалось, что-то нет, но к настоящему моменту результат налицо: мобильные устройства научились снимать немногим хуже профессиональных камер.

Суть проблемы

На данный момент оптимальным методом автофокусирования изображения является фазовый. Его набор недостатков можно считать минимальным по сравнению с и контрастным типами автофокуса.

Принцип его работы основан на сравнении фаз пучков света, проходящих через точки, расположенные на противолежащих краях объектива. Для этого используются специальные сенсоры, встроенные в матрицу камеры.

Помимо достаточно высокой стоимости аппаратной части , одним из наиболее неприятных минусов является проблема фронт- и бэк-фокуса.

Из-за невозможности равномерно расположить сенсоры по поверхности матрицы на периферии кадра возникают искажения.

Разумеется, до определенной степени они устраняются в процессе обработки снимка программным обеспечением камеры, но разработчики вознамерились решить проблему кардинально. И в целом им это удалось.

Что такое Dual Pixel

До определенного момента разработчики сенсоров для мобильных устройств во главу угла ставили разрешение.

Однако габаритные ограничения привели к тому, что ситуация была доведена до абсурда: камеры становились всё более мегапиксельными, а качество получаемых снимков начало страдать.

В своем модели One M7 решила пойти против тренда. Еще до анонса гаджета все ожидали какой-то экзотики в его камере, вплоть до , но в реальности всё оказалось гораздо забавнее.

Новинка, получившая название , просто и бесхитростно увеличивала площадь сенсора. Разрешение при этом падало втрое, но на качестве фотографий это почему-то не отразилось.

Вернее, отразилось – но в лучшую сторону. Светочувствительность нового сенсора стала существенно выше, благодаря чему процессор камеры получал больше информации для обработки.

Чуть позже в смартфоны, вначале только топового сегмента, пришел фазовый автофокус. Как и в «зеркалках», сенсоров по сравнению с количеством самих пикселей было ничтожно мало.

Однако по заказу пошла на радикальный шаг: в новой матрице Sony IMX260 были использованы 1,44-микронные пиксели UltraPixel, каждый(!) из которых был снабжен собственным фазовым сенсором.

Так сказать, два в одном – отсюда и название новинки, Dual Pixel.

Новая технология потребовала массы процессорных ресурсов для обработки большого количества поступающей с датчиков информации, но с чем-чем, а с производительностью у S-серии Samsung Galaxy всегда всё было в полном порядке.

Насколько успешна Dual Pixel

Ключевым показателем успеха можно считать тот факт, что уже третье поколение флагманов Samsung использует в своих камерах Dual Pixel.

Кроме того, Google Pixel 2 и Pixel 2 XL тоже получили матрицы камер с двойными пикселями.

Следует отметить, что пионерами в данной области южнокорейцы вовсе не являются. За год до выхода Galaxy S7 реализовала в iPhone 6 Plus технологию под названием : как говорится, те же яйца, только в профиль.

В заключение

Для повышения качества фокусирования разработчики флагманских устройств прилагают массу усилий: используют лазер, создают , совмещающий преимущества фазового и контрастного типов, внедряют в программное обеспечение камер элементы искусственного интеллекта.

Технология Dual Pixel однозначно прижилась, но использовать ее хотя бы в среднем ценовом сегменте Samsung пока что не торопится.

То ли не хватает производительности чипсетов, то ли просто не пришло еще время сделать «фишку» для избранных доступной для широких масс пользователей. Возможно, в следующем году она появится хотя бы в камерах A-линейки.