Investigadores del Instituto de Tecnología de Massachusetts (MIT) han desarrollado un sistema de visión inalámbrico que combina señales de ondas milimétricas (mmWave) con inteligencia artificial generativa para reconstruir objetos y escenas completas, incluso cuando están ocultos a la vista. Este avance podría mejorar de manera significativa la capacidad de los robots para interactuar con entornos complejos y optimizar tareas de inspección, manipulación y logística.
El sistema aprovecha señales similares a las utilizadas en wifi que atraviesan obstáculos habituales como paneles de yeso, madera, plástico o cartón, y se reflejan en los objetos y en las personas dentro de una habitación. Hasta ahora, la naturaleza especular de estas señales impedía que los sensores captaran todas las superficies de un objeto, dejando fuera la base o los laterales. Para superar esta limitación, los investigadores entrenaron modelos de IA generativa con datos simulados que reproducen las propiedades de las reflexiones mmWave, completando las partes invisibles de los objetos y refinando la forma de los elementos del entorno.
Reconstrucción 3D avanzada
El sistema, denominado Wave-Former, genera posibles superficies a partir de las señales reflejadas, las completa mediante IA y las refina hasta obtener una reconstrucción 3D final más precisa que los métodos anteriores. En pruebas con más de 70 objetos cotidianos, como latas, utensilios, cajas y frutas, la tecnología aumentó la precisión de la reconstrucción en aproximadamente un 20% frente a sistemas de referencia.
Además, los investigadores crearon un sistema ampliado, RISE, capaz de reconstruir habitaciones enteras aprovechando los reflejos multitrayecto generados por personas en movimiento. Este enfoque analiza las llamadas señales fantasma copias reflejadas de la señal original que cambian de posición según el movimiento de los individuos y, mediante IA generativa, completa la escena de forma más detallada. Los ensayos demostraron que RISE duplica la precisión de las técnicas existentes para reconstrucción de escenas completas.
Entre las posibles aplicaciones destacan la verificación de artículos empaquetados en almacenes antes del envío, la localización de personas en entornos domésticos o industriales para mejorar la interacción humano-robot, y sistemas de asistencia que preserven la privacidad al no depender de cámaras. Además, la tecnología podría emplearse en robótica avanzada, inspección industrial y entornos de seguridad donde la visión directa no es posible.
El desarrollo del proyecto se apoya en simulaciones avanzadas de reflexiones multitrayecto, así como en el entrenamiento de modelos generativos adaptados a las propiedades físicas de las ondas milimétricas. Este trabajo ha sido presentado en conferencias especializadas en visión por computadora y reconocimiento de patrones, y cuenta con el respaldo de la Fundación Nacional de Ciencias (NSF), el laboratorio de medios del MIT y Amazon.