Идея интерактивной рефлекторной биометрии [1], в кратком изложении, состоит в следующем.
Вот такую систему и нужно сделать, если мы действительно хотим двигаться к цифровой экономике.
Авторы: Валерий Конявский, Алексей Самосюк, Сергей Тренин, МФТИ
Первая задача – научиться следить за взглядом при наблюдении за стимулом. А стимул – это светящийся маркер, перемещающийся по заданной траектории, например по контуру картинки, которая испытуемому не предъявляется.
Сначала нужно:
Рис. 1. Исходное изображение
Рис. 2. Пример обработки изображения для получения контура. A. Исходное изображение. B. Контур без сглаживания. C, D – контуры, полученные с использованием алгоритмов сглаживания
Рис. 3. Интерфейс генерации стимулов
Красным цветом отмечена позиция, с которой стимул начинает движение по контуру. Направление движения – по часовой стрелке.
A – регулятор сглаживания контура (различные результаты показаны на рис. 2).
B – регулятор установки точки старта.
C – окно задания времени воспроизведения стимула.
D – регулятор задания скорости перемещения объекта по траектории. Зеленая линия (F) обозначает нулевую скорость. Если опустить функцию ниже нуля, маркер стимула изменит направление движения на противоположное.
Наш стимул готов.
Используем стандартный трекер, применяем все нужные преобразования, учитываем, что голова человека не зафиксирована, как в известных опытах на людях, испытуемый вертит головой, и много других особенностей. Теперь можно получить ожидаемые отсчеты.
Рис. 4. Одна записанная сессия
Рис. 5. Для одного и того же контура было записано два стимула разной длительности. Красным цветом – реакция при более высокой скорости движения маркера стимула
Рис. 6.1. A, B – наложение сгенерированного контура (зеленый) и записанных траекторий взгляда двух различных испытуемых (синий и красный цвета). C, D – сравнение контура и записанных траекторий по одной координатной оси
Рис. 6.2. A, B – наложение сгенерированного контура (зеленый) и записанных траекторий взгляда двух различных испытуемых (синий и красный цвета). C, D – сравнение контура и записанных траекторий по одной координатной оси
Вот как выглядят саккады при фиксации их с помощью наших инструментов (см. рис. 7).
Рис. 7. Поиск саккад на обработанных данных. Пунктирным кругом локализована область, в которой детектирована саккада, – 370-й кадр записи
Однако саккады автоматийны [2], и поэтому:
Для рефлекторной идентификации используем динамику глаз при слежении за стимулом.
Подготовка к эксперименту почти выполнена. Для окончательной фиксации его контуров принимаем:
Почему так? Просто мы хотим видеть, как испытуемый привыкает к стимулу, как устает, как вновь следит за стимулом, отдохнув и помня стимул.
Таким образом, требования к эксперименту можно считать сформированными. Разработанные инструментальные средства вполне позволяют его провести.
Опыт проведен. Мы собрали датасет, включающий достаточное количество данных для последующего анализа. В опытах принимали участие аспиранты кафедры дискретной математики МФТИ, сотрудники ОКБ САПР, студенты МФТИ и МИРЭА.
Опыты проводились на инструментальных средствах, созданных сотрудниками лаборатории "МФТИ-Сбербанк". В процессе проведения опытов соблюдались все меры социального дистанционирования и никто не пострадал.
Датасет будет обработан и опубликован в принятом виде, обеспечивающем доступ к нему всех заинтересованных исследователей.
Сейчас мы видим, что траектории реакции на стимул явно не повторяются и явно несут на себе отпечаток индивидуальных особенностей (психологических, кинезиологических и др.) и поэтому могут использоваться для доверенной идентификации на недоверенных устройствах.
Дальше мы сделаем искусственную нейронную сеть, которая и будет осуществлять идентификацию.
Еще мы научим камеру компьютера на этих же данных фиксировать движения зрачков, уже без использования трекера.
И только после этого переместимся на смартфоны.
Всех, кто захочет нам помочь преодолеть этот тернистый путь, приглашаем присоединиться, будем рады. Четыре-пять кандидатских диссертаций и пару докторских мы точно получим. Ну и пару десятков магистерских диссертаций.