HADAR aporta profundidad y textura a imágenes de calor "fantasmales"

Para que los vehículos y robots autónomos sean seguros y eficientes, necesitan percibir su entorno. También necesitan poder predecir el comportamiento de las cosas que los rodean (ya sean otros robots, vehículos o incluso personas) y planificar sus caminos y tomar decisiones en consecuencia. En otras palabras, necesitan visión artificial.

Tradicionalmente, la visión artificial se logra con una combinación de cámaras y sensores que incluyen radar, sonar y lidar. Pero la visión artificial también suele depender del calor. "La radiación de calor proviene de todos los objetos que tienen temperaturas distintas de cero", dice Zubin Jacob, profesor de ingeniería eléctrica e informática en la Universidad Purdue. "Las hojas, los árboles, las plantas, los edificios... todos emiten radiación térmica, pero como se trata de radiación infrarroja invisible, nuestros ojos y cámaras convencionales no pueden verla". Pero debido a que las ondas térmicas se dispersan constantemente, las imágenes generadas por las cámaras infrarrojas carecen de especificidad material, lo que da como resultado imágenes borrosas, “fantasmales”, sin profundidad ni textura.

Como alternativa a las imágenes "fantasmas", Jacob y sus colegas de las universidades Purdue y Michigan State han desarrollado una técnica de detección y alcance asistida por calor (HADAR) que resuelve señales de calor confusas para "ver" la textura y la profundidad. En un experimento de prueba de concepto, demostraron que el alcance HADAR durante la noche es tan bueno como la estereovisión RGB durante el día. Su trabajo fue publicado el 26 de julio en Nature.

Los humanos ven una rica variedad de colores, texturas y profundidad durante el día o en entornos con luz adecuada, pero incluso en situaciones de poca luz u oscuridad, hay muchos fotones térmicos rebotando. Aunque los humanos no pueden verlo, "esta limitación no tiene por qué aplicarse a las máquinas", dice Jacob, "pero necesitábamos desarrollar nuevos sensores y nuevos algoritmos para aprovechar esa información".

Para su experimento, los investigadores eligieron un espacio al aire libre en una zona pantanosa, lejos de las carreteras y de la iluminación urbana. Recolectaron imágenes térmicas en el espectro infrarrojo en casi 100 frecuencias diferentes. Y así como cada píxel en las imágenes RGB está codificado por tres frecuencias visibles (R para rojo, G para verde, B para azul), cada píxel en el experimento fue etiquetado con tres atributos de física térmica, TeX: temperatura (T), huella digital del material. o emisividad (e), y textura o geometría de la superficie (X). "T y e se entienden razonablemente bien, pero la idea crucial sobre la textura está en realidad en X", dice Jacob. "X son en realidad los muchos pequeños soles en tu escena que iluminan tu área de interés específica".

Los investigadores introdujeron toda la información TeX recopilada en un algoritmo de aprendizaje automático para generar imágenes con profundidad y textura. Utilizaron lo que llaman descomposición TeX para desenredar la temperatura y la emisividad, y recuperar la textura de la señal de calor. Los atributos T, e y X ordenados se utilizaron luego para resolver los colores en términos de tono, saturación y brillo de la misma manera que los humanos ven el color. "Por la noche, en plena oscuridad, nuestra precisión era la misma cuando regresamos durante el día e hicimos la medición y detección con cámaras RGB", dice Jacob.

La mayor ventaja de HADAR es que es pasivo, añade Jacob. “Lo que significa que no es necesario iluminar la escena con un láser, ondas sonoras u ondas electromagnéticas. Además, en aproximaciones activas como lidar, sonar o radar, si hay muchos agentes en la escena, puede haber mucha interferencia entre ellos”.

Como nueva tecnología, HADAR se encuentra en una etapa bastante incipiente, dice Jacob. Actualmente, la recopilación de datos requiere casi un minuto. En comparación, un vehículo autónomo que conduzca de noche, por ejemplo, necesitaría tomar imágenes de su entorno en milisegundos. Además, las cámaras necesarias para la recopilación de datos son voluminosas, caras y consumen mucha energía: “Excelente para una demostración científica, pero no para una adopción generalizada”, según Jacob. Los investigadores están trabajando actualmente en estos problemas y Jacob predice que se dedicarán algunos años más de investigación a abordarlos.

Sin embargo, hay algunas aplicaciones que son posibles de inmediato, dice Jacob, como el monitoreo nocturno de la vida silvestre. Otro ámbito donde no se requiere la capacidad de tomar decisiones en milisegundos son algunas aplicaciones médicas, como la medición de gradientes de temperatura en el cuerpo humano.

"El gran desafío ahora son las mejoras de hardware", dice Jacob, "[en las cuales] podemos incorporar nuestros algoritmos avanzados". La próxima generación de cámaras, predice, será de alta velocidad y compacta, y funcionará a temperatura ambiente, para lo cual necesitarán materiales completamente nuevos.