Un grupo de investigación de la Universidad Pablo de Olavide (Sevilla) ha desarrollado RExQUAL, una herramienta clave para abrir la caja negra del machine learning. El avance contribuye a crear sistemas de inteligencia artificial (IA) más transparentes en ámbitos críticos para la sociedad.
La inteligencia artificial ha transformado sectores clave de la sociedad, gracias a su capacidad para tomar decisiones complejas con una precisión sin precedentes. Sin embargo, esta potencia viene acompañada de un desafío creciente: entender cómo y por qué los modelos de IA llegan a ciertas conclusiones.
En este contexto, cobra protagonismo la inteligencia artificial explicable o XAI (por sus siglas en inglés, explainable artificial intelligence), un campo que busca desarrollar mecanismos para comprender, interpretar y confiar en los sistemas basados en machine learning.
Evaluación de las explicaciones de XAI
La herramienta RExQUAL está diseñada para evaluar la calidad de las explicaciones generadas por técnicas de XAI, especialmente en tareas de predicción de series temporales. RExQUAL utiliza una propuesta innovadora basada en reglas de asociación, que permite medir de forma cuantitativa y objetiva la calidad de las explicaciones tanto a nivel local —para predicciones individuales— como global —para el comportamiento general del modelo—. Esta combinación ofrece una visión integral del grado de interpretabilidad que ofrecen los modelos de machine learning.
Una de sus principales fortalezas es que no depende del modelo utilizado, lo que facilita su aplicación en múltiples dominios. Utiliza métricas como el soporte y la confianza para evaluar si las características resaltadas por los métodos XAI realmente justifican las decisiones del modelo.
La investigación ha sido publicada en la revista IEEE Transactions on Pattern Analysis and Machine Intelligence, y RExQUAL ya está disponible como software de código abierto para la comunidad científica a través de un repositorio en GitHub. Además, el equipo trabaja en el desarrollo de una nueva métrica complementaria, orientada a medir la importancia de las variables que influyen en el modelo a partir de cómo varía RExQUAL ante perturbaciones en los datos de entrada.