Investigadores de la Universidad de Michigan han desarrollado HandProxy, una interfaz que permite a los usuarios interactuar con objetos de realidad virtual (RV) utilizando comandos de voz. Este sistema elimina la necesidad de guantes, mandos o sensores físicos, ofreciendo una experiencia accesible en entornos digitales. Además, podría integrarse con asistentes virtuales, permitiendo transiciones fluidas entre distintos modos de interacción en realidad virtual y realidad aumentada (RA), incluidos los controladores tradicionales.
La herramienta funciona como una mano digital tridimensional que responde en tiempo real a las instrucciones habladas del usuario. Mediante inteligencia artificial, el sistema interpreta los comandos y genera movimientos precisos que permiten agarrar, mover o manipular objetos virtuales.
Durante las pruebas, los usuarios lograron ejecutar tareas de control sin contacto físico gracias a HandProxy. Mediante comandos de voz, podían pedirle que agarrara y moviera objetos virtuales, arrastrara y redimensionara ventanas, o realizara gestos como levantar el pulgar. Incluso demostró ser capaz de gestionar tareas complejas.
Los usuarios quieren estar dentro de un espacio virtual, no solo verlo desde fuera. Afirman que los beneficios van desde hacer los juegos más emocionantes hasta capacitar a médicos y cirujanos sin arriesgar vidas. Además, el sistema podría actuar como un agente, donde un usuario le puede dar un comando de alto nivel, como «organiza mi espacio de trabajo», y «encuentra una manera de ordenar y cerrar todas las ventanas abiertas».
Adaptado para todas las personas
Según Scientific American, las personas con distrofia muscular y parálisis cerebral tienen dificultades para usar la realidad virtual (RV). Los movimientos táctiles pueden incluso disuadir a algunos usuarios con enfermedades crónicas de probarla. Este software podría ayudar a que la realidad virtual sea más cómoda y accesible.
Además de sus aplicaciones en entretenimiento, esta tecnología tiene potencial en campos como la educación, la rehabilitación, el diseño o la asistencia remota. Al eliminar la dependencia de hardware especializado, HandProxy se presenta como una solución más inclusiva y adaptable para diversos perfiles de usuario. Aunque aún está en fase de desarrollo, representa un paso importante hacia una realidad virtual más intuitiva, inclusiva y sin barreras físicas.
Los investigadores están trabajando actualmente en maneras de ayudar al software a interpretar el habla ambigua, sin tomarse demasiadas libertades. Un participante del estudio propuso una posible solución: permitir que la mano formule y responda preguntas.
El equipo ha solicitado protección de patente con la ayuda de Innovation Partnerships y está buscando socios para llevar la tecnología al mercado.