Распознавание образов и практическая психология. Help wanted!

Привет, хотелось бы услышать мнение людей занимающихся тренировкой алгоритмов распознавание образов в реальном времени.

Я психолог и хорошо знаю специфику индивидуального консультирования. В процессе разговора с клиентом, психологу нужно решать сразу две невероятно сложные задачи — анализировать содержание речи и следить за невербальными сигналами, такими как мимика, жесты, дыхание, цвет кожи, движение глаз. Для того чтобы научиться хорошо выполнять одну из этих задач нужны годы практики, опытный наставник и определенные личные качества. Одновременно качественно выполнять обе задачи могут единицы. Это одна из причин по которой высококлассных практических психологов так мало.

Психологов-консультантов, и говоря шире интервьюеров, средних способностей, как и во всех остальных профессиях большинство. Они ведут диалог либо фокусируясь на одном канале, либо постоянно переключаясь и выхватывая случайные факты из сказанного или сделанного клиентом. Например, возможно у вас была ситуация, когда на консультации вы рассказываете что-то очень волнующее, комок подкатывает к горлу, и вдруг психолог задает вопрос о чем-то совершенно второстепенном, что вы мельком упомянули пару фраз назад. И вы такие думаете «Что это было???». Или на собеседовании вы ответили на все теоретические вопросы, сходу решили пару практических задач, и все же получили отказ. А потом, от знакомых знакомых узнали рецензию HR-а, что вы были недостаточно коммуникабельны, открыты и дружелюбны или наоборот слишком активны, уверенны и амбициозны.

Такого рода ошибки сильно снижают эффективность работы всех профессий связанных с проведением интервью, но они неизбежны именно в силу очень большой сложности задачи параллельного отслеживания и анализа двух каналов информации.

Решить проблему, как мне кажется, можно переложив на компьютер ту часть работы которую он делает лучше — а именно мониторинг и распознавание невербальных сигналов в реальном времени.

Вот примеры того как видят этот процесс фантасты:
1) сцена допроса репликанта из фильма «Бегущий по лезвию» (1982) — www.youtube.com/watch?v=Umc9ezAyJv0
2) использование, встроенного в глаз, модуля «Улучшенной социальной коммуникации» (Social Enhancement Augmentation) для убеждения в игре «Deus Ex» (2016) — www.youtube.com/watch?v=RT1j35dvWno

Исследования невербальных сигналов техническими средствами ведутся довольно давно. Но раньше они сводились к ретроспективному анализу видеозаписи. Самые современные (из коммерчески доступных) продуктов в этой сфере — сервисы «распознавания эмоций» на фото и видеозаписях. Например — azure.microsoft.com/...​gnitive-services/emotion Можно поиграться — вставить URL-адрес любого изображения из интернета и сервис попытается определить «эмоцию». Эти продукты опираются на «Систему кодирования лицевых движений» Пола Экмана (en.wikipedia.org/...​cial_Action_Coding_System). А используются они для автоматической сортировки миллиардов фотографий, ежедневно загружаемых в сеть.

Для управления диалогом в реальном времени эта технология, как мне кажется, бесполезна. Определить высокоуровневую эмоцию типа гнева или радости интервьюер может и сам. (Хотя людям с аутистическими расстройствами технология может помочь даже в таком виде).

То что нужно — мониторинг микросигналов (изменение частоты и глубины дыхания, изменение цвета кожи, частота моргания, сужение/расширение зрачка) и сообщение интервьюеру о значимых изменениях. Для этой цели отлично подойдут какие-нибудь очки дополненной реальности.

Я надеюсь на форуме есть разработчики, занимающиеся технологиями распознавания образов, которые могут подсказать, насколько технологии уже «созрели» для решения такой задачи.

Можно ли «натренировать» алгоритм на распознавание изменения диаметра зрачка снятого микрокамерой с расстояния в 2-3 метра?
Направление взгляда?
Считать частоту и глубину дыхания по движениям грудной клетки?
Изменение цвета кожи?

Просматривая на 17 дюймовом мониторе интервью записанные при хорошем освещении я все эти изменения вижу, т.е. камера их фиксирует.

Можно ли готовый алгоритм запустить на мобильном устройстве и добиться выдачи уведомлений с лагом в доли секунды?

Спасибо, что прочитали!
Александр
[email protected]

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті