Каким образом работает распознавание лицевых образов в телефонах

Для чего мы выбираем разлочивание по лицу

В прошлые годы определение лиц стало одной из самых распространённых опций для открытия смартфонов. Еще некоторые лет ранее основная часть пользователей обходились PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Что превращает эту возможность настолько популярной? Прежде всего, это удобно: не нужно помнить сложные пароли или находить нужный палец в тьме. Также, это быстро: современные системы идентифицируют лицо фактически за мгновение. В-третьем пункте, это впечатление футуристичности — как будто в кинофильмах про вулкан автомат разведчиков.

Однако за данной на первый взгляд легкостью скрывается целый мир комплексных технологий и инженерных решений. Попробуем понять, как конкретно действует фейсканирование в актуальных смартфонах, какие бывают способы, насколько они безопасны и что нас предстоит.

Короткая повествование эволюции технологии

Идентификация лиц как техника существует уже более пятидесяти годов. Изначальные эксперименты автоматизированного исследования облика были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ способны были лишь обозначать контуры черепа и определять дистанции между зрачками и ртом на монохромных фотографиях.

Начальные коммерческие установки стали доступны в 1990-х годах, но они были несовершенны: действовали неспешно и нередко ошибались. Только с развитием синтетических сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать личные разработки.

Ключевые шаги действия системы идентификации

Процесс идентификации лица можно примерно поделить на несколько ключевых этапов:

1. Обнаружение лица — камера определяет наличие людского лица в изображении.
2. Выделение характеристик — система изучает особенности лица: очертания зрительных органов, носа, уст, положение бровей.
3. Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — созданный образец сравнивается с сохранённой при регистрации биометрической данными владельца.
5. Принятие определения — если сходство достаточно значительное, смартфон открывается.

Любой из данных шагов нуждается в специальных алгоритмов и улучшений для скорой работы непосредственно на девайсе.

Аппаратные компоненты: что прячется внутри них

Обычная фронтальная камера.

Самый простой несложный вариант распознавания облика применяет только фронтальную видеокамеру мобильного устройства. Данный метод внедрён во различных недорогих моделях Android-устройств.

Сильные стороны:

• Не требует внешних сенсоров.
• Быстро работает при хорошем освещённости.

Отрицательные стороны:

• Просто ввести в заблуждение изображением или видеозаписью.
• Неудачно действует при низком освещении или непривычных ракурсах.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология является основой Face ID от Apple.

Каким образом это работает:

• Точечный проекционный прибор проецирует на физиономию использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID применяет около 30 000 пятен).
• Инфракрасная камера регистрирует искривление этой решетки по поверхности лица.
• Формируется 3D карта глубины, что почти неосуществима для подделки стандартной снимком или маской.

Выигрыши

• Надёжная работа даже в полной тьме.
• Большая защита к фальсификациям.
• Точность определения более 99%.

Добавочные сенсорные устройства

В определённых устройствах задействуются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые измеряют время распространения луча до предмета и обратно; Цветные-датчики глубины; специальные световые измерители расстояния для построения более аккуратной 3D-модели лица.

Эти разработки встречаются наиболее часто во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум на действии

Текущие устройства распознавания лиц невозможны при отсутствии использования искусственного интеллекта и машинного обучения. Именно благодаря таким инновациям, как вулкан россии, гаджет способно узнавать юзера даже при изменениях облика: новая причёска, борода, линзы или макияж не становятся барьером для деблокировки.

Обнаружение лица

При начальном шаге алгоритм необходимо быстро найти лицо внутри целого снимка с камеры. Для этого применяются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые „обучены” идентифицировать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить лицо даже при неполном перекрытии (например, шарфом или ладонью).

Идентификация важных аспектов

После распознавания лица механизм, такая как вулкан россии, вычисляет положение основных точек: края глаз, кончик носа, края губ и так далее. Как правило задействуется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это требуется для стабилизации изображения: если человек удерживает мобильник под углом, или повернул голову, программа исправляет картинку до нормального состояния для последующего изучения.

Формирование биометрического шаблона

Далее нейросеть строит компактное числовое представление („эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Данный формат крайне сложно сфальсифицировать: он не хранит непосредственно фото юзера, а лишь уникальные черты его вида, что делает его идеальным для таких площадок, как vulkan russia.

Сравнительный анализ и принятие решения

В случае, когда пользователь желает разлочить смартфон глазами, механизм воспроизводит все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно больше 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ блокируется.

Привыкание к трансформациям облика

Интересная характеристика современных системы — способность самообучения. Если ты постоянно открываете мобильное устройство с обновленной укладкой или очками, система постепенно освежает базовый шаблон вашего облика для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных данных.

Множество пользователи беспокоятся хранить свои биометрические данные на телефоне из-за угрозы утечки данных или хакерской атаки. Некоторые компании, такие как vulkan russia, предлагают варианты для повышения безопасности информации клиентов.

• Локальное хранение: Большинство аппаратов записывает био-идентификационные шаблоны лишь внутри защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют гаджет и закрыты даже производителю.

• Шифрование: Все сведения сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы третьих разработчиков не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Стоит упомянуть существенную деталь: в случае, если кто-либо сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании внедряют систему защиты от автоматического разблокирования — в частности, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют типы распознавания лиц?

В настоящее время можно определить 3 главных подхода к осуществлению этой задачи:

Программируемое 2D распознавание

Эксплуатируется только фронтальная камера без дополнительных датчиков глубины. Подобный метод встречается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; минимальная затраты; скоростная работа при хорошем освещении.
Минусы: просто ввести в заблуждение фотографией; ненадежная работа ночью; низкая охрана.

Аппаратное объёмное оцифровка

Задействует ИК видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: значительная надежность; нельзя обмануть изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана („чёлка”)

Гибридные методы с ИИ-дополнением

Используют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам („anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock новейших версий, сочетают фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от подделок руками/масками/видеодисплеями чужих устройств.

Примеры использования разнообразных методов

• iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил аналог Face ID среди Android.
• Samsung Galaxy S10/S20 поддерживают как программное обеспечение 2D идентификацию по изображению фронтальной камерой, так и сенсор радужки глаза.
• Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности охраны и ложные сигналы

Несмотря на замечательный прогресс технологий за последние годы, идеальных механизмов пока не имеется:

1. Вероятность подвоха: Недорогие смартфоны просто доступны качественной фотографией хозяина или же видеозаписью с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные механизмы могут перепутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
3. Изменения внешнего вида: Внезапное похудение/набор веса, косметические процедуры или травмы иногда требуют перерегистрации биометрических данных.
4. Условия записи: Интенсивная освещённость солнцем либо глубокая затенение могут снизить точность определения признаков.

Здесь пара рекомендаций по надёжному использованию:

• Для критически важных операций всегда применяйте дополнительную аутентификацию;
• Не запускайте опцию „Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Регулярно обновляйте программное обеспечение мобильного устройства для предотвращения угроз от новых видов атак;
• Включайте опцию „Требовать открытых глаз” в тех местах, где она доступна.

Где ещё используется технологии помимо мобильных телефонов?

Хотя основная мысль нашей публикации сосредоточена на конкретно портативным гаджетам, необходимо сказать о прочих направлениях внедрения технологии:

• Мониторинг входа в рабочих помещениях и жилых домах;
• Платёжные терминалы банков („Face Pay”);
• Электронные паспорта современного образца;
• Установки видеоконтроля муниципальных подразделений;
• Автоматизация регистрации присутствия образовательных учреждений/вузов;
• Аутентификация участников компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу („Face Pay”) — достаточно пройти через турникет без карты или мобильника! Схожие инициативы развиваются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким образом меняется технология в наше время?

Всякий год появляются современные идеи для улучшения стандарта работы систем лицевого распознавания:

1. Увеличивается детализация датчиков — чем больше элементов фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс неточности;
2. Развиваются искусственные интеллекты — новейшие архитектуры вида MobileNetV3 обеспечивают возможность скоростно обучаться новым чертам облика пользователя непосредственно на девайсе без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь смартфоны способны отличать реальные живые облики от фиксированных фотографий/маскировок по микроскопическим движениям кожи.
4. Взаимодействие со умными устройствами — умные часы могут автоматически закрыть доступ к мобильный телефон, если обладатель удалился на значительное расстояние.
5. Возникают смешанные механизмы — например объединяющие голосовую аутентификацию + физиономию + дактилоскопический след.

Здесь, те тенденции очень востребованы в данный момент:

1) Уменьшение компонентов

Компании стараются сократить размер прорези („чёлки”) под датчики на экране за счёт внедрения миниатюрных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на девайсе

Для увеличения личной безопасности всё больше обработки данных осуществляется локально без отправки информации во сторонний облачный сервис.

3) Унификация норм

Гугл активно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные площадки, как вулкан россия, и каждые Android-аппы были совместимы с всеми формами биометрии единообразно.

Что выбрать сегодня?

Когда вам важна максимальная защита данных, подбирайте топовые аппараты с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех актуальных моделей
• Huawei Companion/P Series серии
• Mi Pro
• Vivo X модели
• Oppo Найти X серии.

Если бюджет ограничен – лучше выбирать классическим средствам безопасности (PIN-код/сканер отпечатка), а опцию „разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную опцию комфорта.

Как улучшить удобство функционирования опции?

Есть несколько хитростей для пользователей, кто уже применяет разблокировку через лицо:

1. Часто обновляйте свою изображение-шаблон, если кардинально изменяется внешний вид.
2. Не пренебрегайте протирать объектив передней камеры – загрязнения могут снизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает камеру когда вы поднимаете его.
4. При регистрационного процесса старайтесь держать лицевую часть неподвижно впереди камеры исключая резкого наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвели взгляд от экрана.

Возможности прогресса технологии

В предстоящие периоды можно предвкушать появления полностью безконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: физиономия + голос + походка + движения рук!

Также предполагается возникновение новых способов защиты конфиденциальности – например, изменяющееся корректировка электронного образца после каждой успешной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее интересных инноваций нашего эпохи! Она предоставляет взаимодействие со мобильным устройством комфортнее чем до этого, и такие аппы, как vulkan russia, могут в разы повысить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как устроена эта система в деталях, – сумеете осознаннее определять свой очередной гаджет!