Макияж против систем распознавания лиц
Парик с накладными усами больше не защитит.
С 2017 года на улицах Москвы действует система распознавания лиц — за это время с её помощью полиция задержала более 90 человек. В начале сентября власти города заказали камеры, которые будут работать на массовых мероприятиях. В России нельзя использовать «маски и средства маскировки» на митингах, а на акциях в Гонконге от камер защищаются с помощью зонтов, балаклав и шарфов. Однако такие способы вряд ли могут помочь протестующим.
TJ посмотрел, какие способы защиты от систем распознавания лиц разработали учёные, дизайнеры и художники за последние годы. Создатели проверяли свои изобретения через публично доступные алгоритмы, включая систему Фейсбука, которая распознаёт лица с 97% точностью. Но поскольку информация о системах, которые используют государства, засекречена, даже приведённые методы не гарантируют полной анонимности.
За очками и накладными усами спрятаться не выйдет
Системы распознавания лиц могут определять лица, скрытые за солнцезащитными очками, париками или шарфами. Камеры распознают открытую часть лица и сопоставляют её с базами данных, собранных из соцсетей и данных госорганов. Если человек надел очки, то системы проигнорируют скрытую часть лица и проанализируют то, что осталось. А у лица, закрытого балаклавой, всё равно остаются видны глаза, надбровные дуги и рот — важные участки лица.
Точки, по которым камеры распознают лица
Фото Softimage
Например, специалисты российской компании «Видеомакс» тестировали программу для распознавания лиц «Face-Интеллект», сопоставив снятое в хороших условиях фото с разными изображениями одного и того же человека. Тёмные очки, накладные усы и бороды по отдельности не смогли обмануть алгоритм, а грим «под бомжа» позволил идентифицировать человека с точностью в 51%. При этом человека с нарисованным на лице российским флагом системе вообще не удалось опознать.
«Маскировка под бомжа» — 51% сходства, «усы, борода и парик» — 56% сходства, «усы и борода» — 99% сходства, «маскировка под фаната» — «не распознано»
Фото «Видеомакс»
Маски
Художник Леонардо Сельваджио (Leonardo Selvaggio) разработал фотореалистичную 3D-маску своего лица. Он протестировал её действие через алгоритмы Фейсбука: соцсеть определяла любого человека, надевшего маску, как автора прототипа. Сельваджио продаёт маску за 299 долларов и предлагает распечатать PDF-вариант бесплатно.
Сельваджио придумал проект, когда жил в Чикаго, где полиция имеет доступ к 30 тысячам камер видеонаблюдения по всему городу. Так он хотел обратить внимание на то, что технологии распознавания лиц «имеют расовые предрассудки», поскольку их в основном обучают на базах данных с преобладающим количеством лиц белых мужчин. Технологии хуже различают темнокожих людей и представителей этнических групп, что может привести к судебным ошибкам.
Художница Эва Новак (Ewa Nowak) создала «аксессуар для лица» — два круга для щёк и прямоугольник для лба, соединённых проволокой и носимых как очки. Новак также протестировала своё изобретение через алгоритмы Фейсбука: испробовав десятки опций, она нашла вариант расположения объектов, который сделал лицо неразличимым для технологий соцсети.
Фото Ewa Nowak
Её аксессуар получил приз на польском конкурсе дизайнеров в Лодзи. Однако художница не планирует запускать маску в массовую продажу и рассматривает её как концепт и произведение искусства.
Макияж и причёски
Дизайнер Адам Харви (Adam Harvey) придумал камуфляжный грим, который заставляет искусственный интеллект «поверить», что он «смотрит» не на лицо. По задумке автора, камеры вообще не распознают человека с таким макияжем. Способ тестировали на системе VeriLook.
Фото CV Dazzle
Кристоф Буш (Christoph Busch) из Норвежского университета естественных и технических наук отметил, что системы распознавания лиц уязвимы, поскольку они «видят» только стандартные лица с симметричными глазами, носом и ртом. Если закрыть или сделать ассиметричными основные черты лица, то можно обмануть технологию. При этом наносить макияж случайным образом — недостаточно.
Похожий метод создал и специалист по технологиям «Яндекса» Григорий Бакунов. Он придумал сервис, создающий случайный макияж. Алгоритм на основе оригинальной фотографии подбирал новый образ по принципу «анти-сходства».
Фото Григория Бакунова
Метод не только помогал избежать идентификации, но и позволял заставить систему думать, что перед ней другое лицо. Эффективность алгоритма потрясла Бакунова, поэтому он закрыл проект: «Слишком уж велик шанс использовать продукт не для добра, а вовсе с другими целями».
Пользователь Твиттера @tahkion тоже обнаружил, что с помощью яркого макияжа можно обмануть системы распознавания лиц. Он проверил теорию на макияже субкультуры джаггало — фанатов мичигaнской рэп-группы Insane Clown Posse, которые разрисовывают лица под клоунов.
i made a breakthrough. it turns out juggalo makeup defeats facial recognition successfully. if you want to avoid surveillance, become a juggalo i guess https://t.co/kEh7fUQeXq
3440
9487
Я сделал открытие. Оказывается, макияж джаггало успешно справляется с технологиями распознавания лиц. Если хотите избежать слежки, становитесь джаггало, наверное
Он также подчеркнул, что системы распознавания лиц отмечают контрастные черты лица — например, там, где подбородок переходит в шею. Джаггало часто наносят чёрную краску в месте под ртом, но выше подбородка, поэтому технологии могут ошибиться и не определить расположение челюсти. В каком сервисе пользователь проверял свой способ, неизвестно.
Однако методы с макияжем работают только против тех камер, которые ориентируются на видимый свет. От инфракрасных косметика не скроет, потому что они отражают инфракрасные лучи от человека и создают 3D-карту всего лица. Например, технология FaceID распознаёт лицо в любом макияже.
Аксессуары со светодиодами
Исследователи Фуданьского университета (Китай), Китайского университета Гонконга и Университета Индианы в сотрудничестве с Alibaba разработали инфракрасные светодиоды, которые крепятся к кепке и засвечивают лицо носителя. Такой метод позволить скрыться от камер, регистрирующих невидимый для человеческого глаза инфракрасный свет.
С помощью светодиодов можно не только скрыть лицо, но и притвориться другим человеком. Последний метод требует использования обученной нейросети, которая бы сканировала изображение определённого человека и проецировала нужные инфракрасные точки на лицо. Исследователям удалось обмануть камеры в 70% случаев — система распознала пользователя как Моби, когда лицо музыканта спроецировали на него.
Токийский национальный института информатики представил похожий аксессуар. Но вместо кепки — очки со встроенным инфракрасными светодиодами, работающие по аналогичному принципу. Светодиоды расположены так, чтобы засветить глаза и нос человека. При этом они не смогут обмануть камеры, на которые регистрируют видимый, а не инфракрасный свет.
Как очки с инфракрасными светодиодами работают с системами распознавания лиц
Одежда
Дизайнеры из Project Kovr разработали линейку плащей с капюшонами, которые полностью застёгиваются и закрывают всё лицо. По словам создателей, плащ сделан из «металлосодержащей» ткани, которая помимо технологий распознавания лиц также блокирует радиацию.
Фото Project Kovr
Для тех, кто не хочет идти на крайние меры и скрывать лицо полностью, берлинский художник Адам Харви (Adam Harvey) разработал проект HyperFace — ткань, из которой можно делать шарфы или повязки. Предполагается, что с её помощью удастся обмануть камеры, распознающие видимый свет. Ткань HyperFace имитирует паттерны света и тени так, чтобы те выглядели как лицо. Цель разработчиков — спрятать носителя в толпе ненастоящих лиц, которые камеры должны распознавать.
Фото HyperFace
«Алгоритм ожидает лицо, а мы обманываем эти ожидания», — отмечают создатели проекта. HyperFace с 2018 года находится на стадии прототипа.
Похожую цель преследовала и дизайнер Симона С. Никкиль (Simone C. Niquille), которая придумала футболки с лицами знаменитостей и протестировала разработку на алгоритмах Фейсбука. Когда соцсеть пыталась отметить пользователя на фотографии, то получалось, что человек в футболке стоит в толпе Майклов Джексонов и Бараков Обама.
Фото RealFace Glamoflage
Ни маски, ни макияж, ни инфракрасные светодиоды, ни балаклавы не гарантируют стопроцентной защиты ни от государственных систем распознавания лиц, ни от технологий индентификации в соцсетях. Единственный действенный метод — полностью закрывать лицо на улицах, но в многих странах такой способ считается нелегальным.
Medialeaks проверил варианты маскировки, защищающие от технологии распознавания лиц, и выбрал самые эффективные из них. «Чёрный лебедь», кошачьи усы, полосы и точки — рассказываем, что из этого убережёт вас от нежелательного внимания в соцсетях.
Директор по распространению технологий «Яндекса» и руководитель сервиса «Яндекс.Здоровье» Григорий Бакунов рассказал о своём хобби-проекте — сервисе, который может защитить человека от распознавания лица системами наблюдения, окружающими жителей мегаполисов.
По словам Бакунова, его программа-алгоритм способна подобрать необычный, но действенный в борьбе с распознаванием лиц макияж. Она предлагает пользователю варианты раскраски, которая, как описывает разработчик, позволила существенно снизить возможность распознавания. От «Вася чуть-чуть не похож на себя» до «совсем не похож на Васю» и даже «вообще не Вася, а скорее Коля». Выглядит это, например, так.
Редакция Medialeaks раскрасилась в стиле моделей Бакунова, чтобы проверить, насколько хорошо работает идея обходить системы распознавания лиц, рисуя на себе абстрактные линии и круги без всякого намёка на симметрию.
Как проходил эксперимент
Для опытов мы использовали обычную акварель: она легко смывается, но при этом может лежать плотным слоем, который будет заметен на снимках.
Мы попробовали повторить варианты макияжей, получившиеся у Бакунова, создать свои вариации мэйкапа в его стиле, посмотрели, можно ли обойти системы распознавания лиц, используя макияж Натали Портман из «Чёрного лебедя», а также раскрасились котиками.
Чтобы проверить, насколько сам факт наличия макияжа влияет на эти системы, мы сделали несколько разных фото — с раскрашенным лицом, с ним же и в головном уборе, а также с макияжем, головным убором и в очках (традиционный и уже проверенный метод обхода систем распознавания).
Полученные фото были загружены в несколько сервисов, содержащих в себе системы распознавания лиц, — FindFace, Betaface и фейсбук, в котором есть система распознавания ваших лиц и лиц ваших знакомых на загружаемых снимках.
Первый макияж Бакунова
Первым делом мы проверили макияж, разработанный сотрудником «Яндекса», и раскрасили лицо автора статьи. Даже если это не работает против видеокамер, можно ходить с таким макияжем на вечеринки.
Но при проверке фото через FindFace — один из самых известных в России сервисов, использующих систему распознавания лиц, — результат оказался провальным. Страница во «ВКонтакте» появилась на первом же месте в найденных совпадениях.
Но стоит надеть бейсболку, и система перестаёт работать.
Тёмные очки на лице тоже отлично спасают от распознавания системой FindFace, которая начинает искать людей в похожих очках и забывает о человеке на снимке.
Другая доступная любому система — автоматическое распознавание людей на загружаемых вами фото в фейсбуке. Сервис сравнивает их со снимками на страницах ваших знакомых и предлагает их отметить.
Макияж и эту проверку не прошёл — профиль сразу же был найден.
Но если добавить к луку бейсболку, происходит небольшое чудо: система перестаёт не только определять человека, но и в принципе видеть лицо на фотографии.
И дело не в неудачном снимке — при проверке другого изображения фейсбук понял, что на нём изображено чьё-то лицо. Но чьё именно, не определил. Но редактора Настю на том же снимке не удалось распознать благодаря обычным солнцезащитным очкам.
А если добавить их к бейсболке, то получим +100 к защите от распознавания (и +50 к нелепости).
Ещё один этап проверки — сервис Betaface, который определяет возраст, пол и расу человека на загруженных снимках. В случае с этим макияжем ему удалось угадать только пол, но не возраст и расу. Автор статьи превратился в 56-летнего азиата, который носит очки.
А нейросеть, с помощью которой можно искать порноактрис, похожих на ваших знакомых (Medialeaks тестировал её на Навальном, Усманове и Поклонской), не нашла никаких совпадений для фото с макияжем. И в бейсболке. И с очками. Ну ок.
Второй макияж Бакунова
В своей статье Бакунов предлагал ещё один вариант защитного макияжа, мы протестировали его на редакторе Тане.
FindFace не справился с задачей, хотя глаза на снимке он определённо увидел — большинство девушек среди предлагаемых в поиске вариантов были похожи на Таню хотя бы разрезом глаз.
Когда на редакторе появились ещё и очки, сервис сломался и не нашёл ни одного профиля.
Система распознавания лиц в фейсбуке споткнулась уже на первом фото, не узнав Таню. Снимок в бейсболке показал такие же результаты.
Полноценной победы над распознаванием удалось добиться при помощи очков, бейсболки и макияжа — фейсбук вообще перестал видеть на фотографии какое-либо лицо.
А Betaface описал Таню как 51-летнюю женщину в очках с усами, хотя ни усов, ни очков на фото не было, да и лет редактору намного меньше. Кроме того, сервис «потерял» один глаз, не разобрался, где нос, и нарисовал Тане огромный рот.
И никаких результатов в сервисе с порноактрисами и политиками.
Цвета редакции
Макияжи Бакунова состояли из ассиметричных полосок и кругов, поэтому мы изобрели собственный мейкап в цветах Medialeaks, отвечающий тем же требованиям, и раскрасили в него редактора Катю. Никакой симметрии и больших участков лица без макияжа, но простой рисунок — на раскраску потребовалось около 10 минут, при этом процесс был довольно хаотичным.
FindFace потерпел поражение. Результат близок к идеальному.
Это сработало и в фейсбуке — алгоритм не нашёл на снимке лица, и даже не пришлось прибегать к очкам и бейсболке.
Кажется, что на фото мало света, но это не причина поражения фейсбука. Снимок при другом освещении показал такой же результат. И даже очки не помогли системе найти глаза на фото.
На всякий случай мы проверили алгоритм фейсбука на фото Кати без макияжа — система узнаёт её даже в бейсболке (кстати, она оказалась единственной из редакции, кого фейсбук узнал даже в головном уборе).
Чёрный лебедь
Не все хотят ходить по улицам города, раскрасившись в круги и полосы, поэтому мы попробовали обмануть системы распознавания макияжем из кино. Выбор пал на фильм «Чёрный лебедь» с Натали Портман, который должен скрыть разрез глаз, к тому же чем-то похож на маску грабителя.
FindFace увидел лицо, но не узнал его.
Результаты на фейсбуке были такими же. Выглядит так, будто Натали Портман может грабить банки, если вдруг захочет.
Мы пошли немного дальше и сделали из лебедя чёрного котика. Потому что мы любим котиков.
Результаты не изменились. Теперь можно официально заявить, что котики помогают защититься от слежки.
Но не с Betaface — на этот раз сервис уверенно определил, что у Тани нет усов (а как же кошачьи?) и очков, и ошибся только с возрастом (кажется, это частая проблема сервиса).
Кружочки и полоски
В очередном хаотичном макияже мы не стали скрывать глаза, понадеявшись только на силу кружков и полосок. Если судить по прошлым опытам, системы распознавания лиц начинают сбоить при обработке лиц, которые скрыты за хаотичным «шумом».
FindFace на этой фотографии сломался. Возможно, он не видит глаза, в которые нужно смотреть.
Фейсбук также в очередной раз потерпел поражение, но увидел лицо.
За решёткой
Последний и самый антиутопичный вариант макияжа, который должен помочь обойти системы распознавания лиц, но, скорее всего, привлечёт внимание правоохранительных органов.
Достаточно ли этого, чтобы обмануть FindFace? Всё получилось — никакого лица на фото сервис не заметил.
Фейсбук также не справился. Как бы странно это ни звучало, решётка оказывается сильнее системы.
Но всё же самым действенным «макияжем» во время опыта для нас оставались бейсболка и очки. Они помогали обходить СРЛ на любом сервисе. Кроме Betaface: очки и бейсболка для него оказались более лёгким препятствием, чем макияж, и сервис почти угадал возраст автора.
FindFace:
Фейсбук:
Betaface:
В современном мире с помощью систем наблюдения можно достигать невероятных результатов в слежке за кем-либо. Так, полицейские в США смогли найти нарушителя уже после неудачной погони с помощью дрона и дополненной реальности. А с помощью FindFace и нескольких других сервисов Medialeaks смог найти личные данные незнакомых пользователей из приложения для знакомств по одной их фотографии. Не всегда такие достижения используются на благо общества: мы писали и о том, насколько легко взломать веб-камеру на ноутбуке, кто и зачем занимается этим, а также как от этого защищаться.