Рефлекторная биометрия для цифрового общества: первый шаг сделан

Идея интерактивной рефлекторной биометрии [1], в кратком изложении, состоит в следующем.

1. Ни один из известных сегодня методов не позволяет осуществлять доверенную идентификацию на недоверенном устройстве.
2. Криминалистические методы не применимы в цифровой экономике.
3. Движения глаз при слежении за стимулом при известном стимуле несут достаточно информации для идентификации человека.
4. Генерация (случайность) стимулов позволяет исключить вмешательство в этот процесс со стороны разного рода негодяев.
5. Задача слежения за взглядом должна выполняться на клиентском устройстве, а генерация стимулов – на доверенном ЦОД.

Вот такую систему и нужно сделать, если мы действительно хотим двигаться к цифровой экономике.

Авторы: Валерий Конявский, Алексей Самосюк, Сергей Тренин, МФТИ

С чего начать?

Первая задача – научиться следить за взглядом при наблюдении за стимулом. А стимул – это светящийся маркер, перемещающийся по заданной траектории, например по контуру картинки, которая испытуемому не предъявляется.

Сначала нужно:

1. Выбрать картинку, из картинки выделить контур и задать параметры перемещения маркера стимула, то есть сформировать стимул.
2. Научиться фиксировать движения зрачков и преобразовывать их в координаты взгляда на экране.
3. Подготовить эксперимент, позволяющий собрать необходимые данные.
4. Собрать наборы данных и выполнить их анализ.
5. Подготовить план действий. Вот что из этого получилось.

Формируем стимул

1. Выбираем картинку, с учетом симпатий лучшей половины человечества (см. рис. 1).
   
   

   Рис. 1. Исходное изображение

2. Выделяем контур – и вот что получается (см. рис. 2). Пунктирным кружком локализованы те участки траектории, которые, возможно, могут являться триггерными для выявления индивидуальных реакций испытуемого.
   
   

   Рис. 2. Пример обработки изображения для получения контура. A. Исходное изображение. B. Контур без сглаживания. C, D – контуры, полученные с использованием алгоритмов сглаживания

3. Выбираем точку начала движения маркера стимула, точку окончания и направление движения, а также скорость движения, график изменения скорости и общую продолжительность стимула. Для этого разработан специальный интерфейс (см. рис. 3).
   
   

   Рис. 3. Интерфейс генерации стимулов

Красным цветом отмечена позиция, с которой стимул начинает движение по контуру. Направление движения – по часовой стрелке.

A – регулятор сглаживания контура (различные результаты показаны на рис. 2).

B – регулятор установки точки старта.

C – окно задания времени воспроизведения стимула.

D – регулятор задания скорости перемещения объекта по траектории. Зеленая линия (F) обозначает нулевую скорость. Если опустить функцию ниже нуля, маркер стимула изменит направление движения на противоположное.

Наш стимул готов.

Фиксируем движения зрачков

Используем стандартный трекер, применяем все нужные преобразования, учитываем, что голова человека не зафиксирована, как в известных опытах на людях, испытуемый вертит головой, и много других особенностей. Теперь можно получить ожидаемые отсчеты.

1. Выбрав в качестве стимула полный контур, получаем примерно такой результат (см. рис. 4).
   
   

   Рис. 4. Одна записанная сессия

   A. Наложение траектории стимула (зеленый) и траектории точки взгляда испытуемого (синий).
   B. Сравнение записанных результатов по оси абсцисс.
   С. Сравнение записанных результатов по оси ординат.
   Видно, что взгляд близок к контуру стимула, но не совпадает с ним.
2. Интересно, а что получится, если мы увеличим скорость движения стимула? Увеличиваем, и вот что получается (см. рис. 5).
   
   

   Рис. 5. Для одного и того же контура было записано два стимула разной длительности. Красным цветом – реакция при более высокой скорости движения маркера стимула

   Приведена запись одного и того же испытуемого. Явно заметны два вида различий между записями. Во-первых, на "быстрой" записи испытуемый был склонен "срезать углы", игнорировать мелкие детали траектории. Во-вторых, хорошо заметно запаздывание реакции на движущийся объект по сравнению с более медленным стимулом (обозначен синим цветом).
3. А насколько схожи траектории взгляда разных людей? Возьмем один и тот же контур и запишем для него результаты эксперимента на разных людях (см. рис. 6.1).
   
   

   Рис. 6.1. A, B – наложение сгенерированного контура (зеленый) и записанных траекторий взгляда двух различных испытуемых (синий и красный цвета). C, D – сравнение контура и записанных траекторий по одной координатной оси

   Теперь запишем для более быстрого стимула (см. рис. 6.2).
   
   

   Рис. 6.2. A, B – наложение сгенерированного контура (зеленый) и записанных траекторий взгляда двух различных испытуемых (синий и красный цвета). C, D – сравнение контура и записанных траекторий по одной координатной оси

   Пунктирным кругом локализованы области, в которых реакции испытуемых различались. Испытуемый, отмеченный синим цветом траектории, отличается более резкими паттернами движения глаз.
4. Особый интерес представляет то, что мы видим даже саккады [2]! Это довольно неожиданно. И вот почему.
   Длительность саккады – 0,1 с, это быстрый процесс. Значит, по теореме Найквиста – Котельникова, нам нужно получать не менее 20 кадр/с, чтобы их увидеть. Мы же видим их на камере с частотой 30 кадр/с, то есть на границе теоретически возможного. Это здорово! Мы молодцы!

Вот как выглядят саккады при фиксации их с помощью наших инструментов (см. рис. 7).


Рис. 7. Поиск саккад на обработанных данных. Пунктирным кругом локализована область, в которой детектирована саккада, – 370-й кадр записи

Однако саккады автоматийны [2], и поэтому:

• их можно использовать для динамического подтверждения идентификации;
• их нельзя использовать для доверенной идентификации на недоверенном устройстве.

Для рефлекторной идентификации используем динамику глаз при слежении за стимулом.

Готовим эксперимент

Подготовка к эксперименту почти выполнена. Для окончательной фиксации его контуров принимаем:

1. Серия демонстрации стимула для каждого испытуемого включает медленный и быстрый вариант, и демонстрация повторяется пять раз подряд.
2. Через некоторое время (n суток) опыт повторяется.

Почему так? Просто мы хотим видеть, как испытуемый привыкает к стимулу, как устает, как вновь следит за стимулом, отдохнув и помня стимул.

Таким образом, требования к эксперименту можно считать сформированными. Разработанные инструментальные средства вполне позволяют его провести.

Собраем датасет

Опыт проведен. Мы собрали датасет, включающий достаточное количество данных для последующего анализа. В опытах принимали участие аспиранты кафедры дискретной математики МФТИ, сотрудники ОКБ САПР, студенты МФТИ и МИРЭА.

Опыты проводились на инструментальных средствах, созданных сотрудниками лаборатории "МФТИ-Сбербанк". В процессе проведения опытов соблюдались все меры социального дистанционирования и никто не пострадал.

Датасет будет обработан и опубликован в принятом виде, обеспечивающем доступ к нему всех заинтересованных исследователей.

Готовим план действий

Сейчас мы видим, что траектории реакции на стимул явно не повторяются и явно несут на себе отпечаток индивидуальных особенностей (психологических, кинезиологических и др.) и поэтому могут использоваться для доверенной идентификации на недоверенных устройствах.

А что дальше?

Дальше мы сделаем искусственную нейронную сеть, которая и будет осуществлять идентификацию.

Еще мы научим камеру компьютера на этих же данных фиксировать движения зрачков, уже без использования трекера.

И только после этого переместимся на смартфоны.

Всех, кто захочет нам помочь преодолеть этот тернистый путь, приглашаем присоединиться, будем рады. Четыре-пять кандидатских диссертаций и пару докторских мы точно получим. Ну и пару десятков магистерских диссертаций.

Список литературы:

1.  Конявский В.А. Новая биометрия. Можно ли в новой экономике применять старые методы? // Information Seсurity / Информационная безопасность. 2018. No 4. С. 34–36.
2. Филин В.А. Автоматия саккад. М., 2001. 263 с., илл.