Каким образом функционирует определение лиц в смартфонах

Почему мы останавливаемся на разлочивание по лицу

В последние времена определение физиономий стало одной из самых распространённых возможностей для деблокировки мобильных телефонов. Еще пару лет назад основная масса пользователей довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, как вулкан россия, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь превращает данную особенность такой востребованной? Для начала, это практично: не нужно запоминать сложные пароли или искать верный палец в тьме. Также, это мгновенно: современные программы распознают лицо буквально за мгновения ока. В-третьих, это ощущение будущего — будто в кинофильмах про вулкан автомат шпионов.

Тем не менее за данной на первый взгляд несложностью прячется полный универсум комплексных технологий и инженерных концепций. Позвольте нам разобраться, как именно функционирует фейсканирование в новейших гаджетах, какие применяются технологии, насколько они безопасны и что нас ждёт впереди.

Короткая хроника развития техники

Распознавание лиц как технология присутствует уже более пятидесяти лет. Изначальные пробы машинного анализа облика были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины умели лишь обозначать очертания лица и измерять дистанции между зрачками и губами на черно-белых фотографиях.

Начальные бизнес системы появились в 1990-х годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с прогрессом синтетических сетей и таких систем, как вулкан россии, мощных мобильных процессоров определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать собственные разработки.

Ключевые шаги работы устройства определения

Процесс распознавания лица можно ориентировочно разделить на несколько основных этапов:

Распознавание лиц — камера определяет наличие людского образа в снимке.
Определение признаков — алгоритм исследует контуры облика: конфигурацию глаз, носа, губ, расположение бровей.
Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение с стандартом — полученный шаблон сравнивается со сохранённой при внесении биометрической данными владельца.
Принятие определения — если сходство достаточно существенное, смартфон открывается.

Любой из указанных шагов запрашивает особых процедур и улучшений для скорой работы прямо на устройстве.

Аппаратные компоненты: что находится внутри них

Обычная селфи камера.

Самый простой легкий способ распознавания облика использует лишь лицевую камеру смартфона. Такой способ осуществлён во многочисленных бюджетных моделях Android-устройств.

Достоинства:

Не нуждается в потребляет дополнительных датчиков.
Оперативно работает при качественном освещении.

Минусы:

Просто ввести в заблуждение снимком или видеозаписью.
Неправильно действует при слабом освещённости или непривычных точках зрения.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким способом это действует:

Точечный проектор показывает на лицо пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
ИК камера фиксирует изменение формы данной решетки по плоскости физиономии.
Формируется 3D карта глубины глубинности, что практически неосуществима для фальсификации обычной снимком или маскировкой.

Выигрыши

Надёжная функционирование даже в полной неосвещённости.
Большая устойчивость к имитациям.
Точность определения свыше 99%.

Дополнительные сенсорные устройства

В некоторых девайсах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время распространения луча до цели и обратно; Трехцветные-датчики глубины; специальные оптические измерители расстояния для построения более детализированной 3D-модели физиономии.

Эти технологии встречаются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум на работе

Текущие системы идентификации лиц неосуществимы при отсутствии применения ИИ и машинного обучения. Именно из-за таким инновациям, как вулкан россии, гаджет в состоянии идентифицировать пользователя даже при метаморфозах облика: новая стрижка, щетина, оптика или косметика не становятся барьером для деблокировки.

Детектирование лица

При стартовом стадии система необходимо быстро распознать ликовое изображение внутри целого снимка с камеры. Для этого применяются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы идентифицировать человеческие лица среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать физиономию даже в случае частичном перекрытии (например, шалью или рукой).

Выделение важных точек

После распознавания лица система, такая как вулкан россии, устанавливает расположение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Обычно используется от 68 до 128 основных маркеров на лицевой поверхности.

Это действие требуется для нормализации визуала: если человек удерживает телефон под наклоном, или наклонил голову, программа “выпрямляет” картинку до обычного угла для дальнейшего анализа.

Формирование биометрического идентификатора образца

Далее нейросеть строит компактное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Данный шаблон весьма трудно имитировать: он не сохраняет непосредственно фото пользователя, а лишь уникальные особенности его вида, что делает его идеальным для таких систем, как vulkan russia.

Сравнительный анализ и принятие решения

В случае, когда пользователь желает открыть мобильник взглядом, система воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый границу (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ не предоставляется.

Привыкание к изменениям облика

Увлекательная особенность нынешних системы — способность самостоятельного обучения. Если ты постоянно разблокируете телефон с свежей стрижкой или оптикой, алгоритм постепенно модернизирует эталонный модель вашего внешности для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных.

Многие юзеры беспокоятся хранить свои био-идентификационные данные на телефоне из-за риска утечки информации или хакерской атаки. Некоторые организации, вроде vulkan russia, предоставляют варианты для повышения сохранности данных клиентов.

Локальное сбережение: Преимущественно устройств хранит биометрические модели исключительно в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из устройство и не доступны даже изготовителю.
Шифрование: Все сведения хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Необходимо упомянуть существенную особенность: если кто-либо сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители осуществляют систему защиты от неосознанного разблокирования — например, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают типы определения лиц на изображениях?

В настоящее время можно определить 3 главных способа к выполнению этой задачи:

Программируемое 2D распознавание

Используется только лицевая видеокамера без дополнительных сенсоров дистанции. Такой подход встречается чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость воплощения; умеренная цена; скоростная функционирование при хорошем свете.
Минусы: легко одурачить фотографией; нестабильная работа ночью; слабая безопасность.

Техническое объёмное сканирование

Применяет инфракрасную видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: значительная надёжность; нельзя подделать изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с интеграцией ИИ

Применяют комбинацию программных методов + техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock последних поколений, объединяют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами посторонних устройств.

Примеры применения разных техник

iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил подобие Face ID в числе Android.
Samsung Galaxy S10/S20 обеспечивают как софтверное плоское идентификацию по фото селфи-камерой, так и датчик ириса глаза.
Huawei Mate20 Pro задействует комплекс из ИК-подсветки + Dot Projector + ToF-датчик

Трудности защиты и ложные тревоги

Несмотря на замечательный прогресс технологий за недавние годы, безупречных системы пока не наблюдается:

Возможность обмана: Недорогие мобильники просто доступны качественной фотографией владельца либо видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные механизмы могут ошибиться между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
Изменения внешности: Внезапное утрата веса/увеличение массы тела, хирургические вмешательства либо повреждения иногда необходимы для повторной регистрации биометрических данных.
Условия фотографирования: Яркая подсветка солнечным светом либо интенсивная затенение могут понизить точность распознавания признаков.

Здесь некоторые подсказок для надёжному эксплуатации:

Для значимых операций всегда используйте дополнительную аутентификацию;
Не включайте функцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение мобильного устройства для обеспечения безопасности от современных угроз;
Включайте опцию “Требовать открытых глаз” в тех местах, где она доступна.

В каких местах также используется технология кроме смартфонов?

Пускай предмет данной работы посвящена именно мобильным устройствам, необходимо сказать о альтернативных областях использования технологии:

Управление доступа в офисах и резиденциях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Виртуальные паспорта нового типа;
Комплексы видеомониторинга городских сервисов;
Механизация учёта посещаемости школ/вузов;
Авторизация участников компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через турникет без пластика или мобильника! Схожие программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как изменяется технический процесс в наше время?

Любой год появляются современные идеи для улучшения стандарта работы систем распознавания лиц:

Увеличивается детализация сенсоров — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше шанс ошибки;
Улучшаются нейросети — современные структуры вида MobileNetV3 позволяют скоростно осваивать дополнительным чертам облика пользователя напрямую на гаджете без пересылки информации в облачное хранилище.
Улучшаются методы антиспуфинга — теперь смартфоны могут отличать подлинные анимированные облики от статичных фото/масок по незаметным микродвижениям.
Интеграция со смарт-гаджетами — смарт-часы могут самостоятельно закрыть доступ к смартфон, если владелец удалился на значительное расстояние.
Возникают комбинированные механизмы — к примеру совмещающие речевую идентификацию + физиономию + отпечаток пальца.

Вот, те тренды особенно популярны на сегодняшний день:

1) Миниатюризация компонентов

Производители намереваются сократить габариты выреза (“чёлки”) под сенсоры на экране за счёт встраивания маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для повышения конфиденциальности всё больше расчётов осуществляется на месте без пересылки информации во дополнительный облачный услугу.

3) Стандартизация стандартов

Гугл активно продвигает норму BiometricPrompt API, с целью чтобы аналогичные платформы, например как вулкан россия, и каждые Android-аппы могли работать с всеми формами биометрии единообразно.

Какое решить сегодня?

Когда тебе нужна максимальная сохранность информации, выбирайте флагманские аппараты с интегрированным ИК-излучателем либо ToF-сенсором глубины.

iPhone всех последних моделей
Huawei Partner/P Series ряда
Mi Pro
Vivo X линейки
Oppo Найти X серии.

Если бюджет скромен – лучше предпочесть обычным средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, задействовать только как дополнительную опцию комфорта.

Каким образом увеличить комфорт использования возможности?

Есть некоторые лайфхаков для тех, кто уже применяет функцию распознавания лица:

Часто меняйте свою изображение-шаблон, если кардинально трансформируется внешность.
Не пренебрегайте протирать объектив фронтальной камеры – загрязнения могут уменьшить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру когда вы берёте его в руки.
При регистрации старайтесь держать лицо ровно перед камеры исключая резкого наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвели взгляд от экрана.

Возможности эволюции инноваций

В ближайшие времена можно ожидать развития полностью бесконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + шаги + жесты рук!

Также возможно появление новых методов охраны конфиденциальности – например, переменное корректировка диджитал образца после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень захватывающих инноваций нашего времени! Она обеспечивает взаимодействие со смартфоном проще чем когда-либо прежде, и такие аппы, как vulkan russia, могут существенно повысить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как функционирует эта система изнутри, – будете в состоянии более осмысленно подбирать свой будущий гаджет!