Los investigadores del Instituto Tecnológico de Massachussets (MIT) y la Universidad de Rice (EE.UU.) han creado una técnica de visión artificial que aprovecha los reflejos para crear imágenes del entorno. Su método utiliza los reflejos para convertir objetos brillantes en ‘cámaras’, lo que permite al usuario ver el mundo como si estuviera mirando a través de las ‘lentes’ de objetos cotidianos como una taza de café de cerámica o un pisapapeles metálico.
Usando imágenes de un objeto tomadas desde diferentes ángulos, la técnica convierte la superficie de ese objeto en un sensor virtual que captura los reflejos. El sistema de inteligencia artificial mapea estos reflejos de una manera que le permite estimar la profundidad en la escena y capturar vistas novedosas que solo serían visibles desde la perspectiva del objeto. Se podría usar esta técnica para ver alrededor de las esquinas o más allá de los objetos que bloquean la vista del observador.
Obtener información útil de los reflejos es bastante difícil porque los reflejos son proyecciones bidimensionales de un mundo tridimensional, por lo que ofrecen una visión distorsionada, ya que depende de la forma y de lo que refleja el objeto, sobre los cuales los investigadores pueden tener información incompleta. Además, el objeto brillante puede tener su propio color y textura que se mezcla con los reflejos y la proyección bidimensional dificulta el cálculo de la profundidad en las escenas reflejadas.
Técnica Objects as Radiance-Field Cameras (ORCa)
Para solventar estos problemas, los investigadores desarrollaron la técnica Objects as Radiance-Field Cameras (ORCa), que aplica tres pasos para obtener una imagen lo más real posible. Primero, toma fotografías de un objeto desde muchos puntos de vista, capturando múltiples reflejos en el objeto brillante.
Posteriormente, para cada imagen de la cámara real, ORCa usa el aprendizaje automático para convertir la superficie del objeto en un sensor virtual que captura la luz y los reflejos que golpean cada píxel virtual en la superficie del objeto. Finalmente, el sistema utiliza píxeles virtuales en la superficie del objeto para modelar el entorno 3D desde el punto de vista del objeto.
La obtención de imágenes del objeto desde muchos ángulos permite a ORCa capturar reflejos de vista múltiple, que el sistema utiliza para estimar la profundidad entre el objeto brillante y otros objetos en la escena, además de estimar la forma del objeto brillante. ORCa modela la escena como un campo de radiación 5D, que captura información adicional sobre la intensidad y la dirección de los rayos de luz que emanan y golpean cada punto de la escena.
La información adicional contenida en este campo de radiación 5D también ayuda a ORCa a estimar con precisión la profundidad, permitiendo al usuario ver características ocultas que de otro modo estarían bloqueadas por esquinas u obstrucciones.