Международная группа исследователей из Австралии, Новой Зеландии и Индии подняла технологию распознавания лиц на новый уровень, используя выражение лица человека для управления объектами в условиях виртуальной реальности без использования портативного контроллера или сенсорной панели.
В первом в мире исследовании, проведенном Квинслендским университетом, эксперты по взаимодействию человека с компьютером использовали методы нейронной обработки, чтобы уловить улыбку, хмурый взгляд и сжатую челюсть человека, и использовали каждое выражение для запуска определенных действий в средах виртуальной реальности.
Один из исследователей, участвовавших в эксперименте, профессор Университета Южной Австралии Марк Биллингхерст, говорит, что система была разработана для распознавания различных выражений лица через гарнитуру ЭЭГ.
«Для запуска команды «движение» использовалась улыбка, для команды «стоп» — хмурое выражение лица, а для команды «действие» — сжатая челюсть, а не ручной контроллер, выполняющий эти действия», — говорит профессор Биллингхерст.
«По сути, мы фиксируем распространенные выражения лица, такие как гнев, радость и удивление, и реализуем их в среде виртуальной реальности».
Исследователи разработали три виртуальных среды — счастливую, нейтральную и пугающую — и измерили когнитивное и физиологическое состояние каждого человека, пока они были погружены в каждый сценарий.
https://s3.eu-central-1.amazonaws.com/media.my.ua/feed/434/2488b41c18808bd73d1dce98cfe01767.jpg
Воспроизводя три универсальных выражения лица — улыбку, хмурый взгляд и сжатие — они исследовали, вызывают ли изменения в окружающей среде одно из трех выражений, основываясь на эмоциональных и физиологических реакциях.
Например, в радостной среде перед пользователями стояла задача пройти через парк и поймать бабочек сачком. Пользователь двигался, когда улыбался, и останавливался, когда хмурился.
В нейтральной среде участникам было поручено пройти по мастерской, чтобы собрать разбросанные повсюду предметы. Сжатая челюсть вызывала действие — в данном случае взятие каждого предмета, — в то время как команды «начать» и «остановить движение» инициировались с улыбкой и хмурым взглядом.
Те же выражения лиц использовались в пугающей среде, где участники перемещались по подземной базе, чтобы стрелять в зомби.
«В целом мы ожидали, что портативные контроллеры будут работать лучше, поскольку они являются более интуитивным методом, чем мимика, однако люди сообщали, что чувствуют себя более погруженными в виртуальную реальность, управляемую мимикой».
Профессор Биллингхерст говорит, что полагаться на выражения лица в условиях виртуальной реальности — тяжелая работа для мозга, но дает пользователям более реалистичный опыт.
«Надеюсь, после дополнительных исследований мы сможем сделать этот инструмент более удобным для пользователя», — говорит он.
Помимо предоставления нового способа использования виртуальной реальности, эта технология также позволит людям с ограниченными возможностями, включая людей с ампутированными конечностями и с заболеваниями опорно-двигательного аппарата, взаимодействовать в виртуальной реальности без помощи рук, и им больше не нужно будет использовать контроллеры, предназначенные для полностью дееспособных людей.
Исследователи говорят, что эту технологию можно также использовать для дополнения портативных контроллеров, где выражение лица является более естественной формой взаимодействия.
По материалам: Techxplore