Control de un entorno de realidad virtual mediante la interpretación de las expresiones faciales
Un equipo de investigadores internacionales de Australia, Nueva Zelanda e India están buscando nuevos usos a la tecnología de reconocimiento facial. En su investigación están utilizando la expresión de una persona para manipular objetos en un entorno de realidad virtual sin el uso de un controlador de mano o un panel táctil.
En este trabajo, dirigido por la Universidad de Queensland, los expertos en interacción humano-computadora utilizaron técnicas de procesamiento neuronal para capturar la sonrisa, el ceño fruncido y la mandíbula apretada de una persona y usaron cada expresión para desencadenar acciones específicas en entornos de realidad virtual.
Uno de los investigadores de la Universidad de Australia del Sur ha destacado que el sistema se ha diseñado para reconocer expresiones faciales a través de un auricular EEG.
Cada una de las expresiones faciales comunes como la ira, felicidad y sorpresa se han capturado e interpretado en el entorno de la realidad virtual para generar una acción concreta. Por ejemplo, la sonrisa activa el comando ‘mover’, fruncir el ceño se asocia al comando ‘detener’, y apretar los dientes corresponde al comando ‘acción’.
Captura de las expresiones faciales
Los investigadores diseñaron tres entornos virtuales: feliz, neutral y aterrador, y midieron el estado cognitivo y fisiológico de cada persona mientras estaban inmersos en cada escenario.
Mediante la reproducción de tres expresiones faciales universales: una sonrisa, el ceño fruncido y un apretón de dientes, exploraron si los cambios en el entorno desencadenaban una de las tres expresiones, en función de las respuestas emocionales y fisiológicas.
Por ejemplo, en el ambiente feliz, los usuarios tenían la tarea de moverse por un parque para atrapar mariposas con una red. El usuario se movió cuando sonrió y se detuvo cuando frunció el ceño.
En el entorno neutral, los participantes tenían la tarea de navegar por un taller para recoger los artículos esparcidos por todas partes. La mandíbula apretada desencadenó una acción, en este caso recoger cada objeto, mientras que los comandos de inicio y detención del movimiento se iniciaron con una sonrisa y el ceño fruncido.
Se emplearon las mismas expresiones faciales en el entorno aterrador, donde los participantes navegaban por una base subterránea para disparar a los zombis.
Casos de uso
Además de proporcionar una forma novedosa de usar la realidad virtual, la técnica también permitirá que las personas con discapacidades, incluidos los amputados y aquellos con enfermedades de las neuronas motoras, interactúen con las manos libres en la realidad virtual, sin necesidad de usar controladores.
Los investigadores dicen que la tecnología también puede usarse para complementar los controladores de mano donde las expresiones faciales son una forma más natural de interacción.