Un grupo de investigadores del Instituto Tecnológico de Massachussets (MIT) y del MIT-IBM Watson AI Lab ha desarrollado una técnica que permite que un modelo de aprendizaje automático realice una cuantificación de la incertidumbre más efectiva, utilizando muchos menos recursos informáticos que otros métodos y sin datos adicionales. Su técnica, que no requiere que el usuario vuelva a entrenar o modificar un modelo, es lo suficientemente flexible para muchas aplicaciones.
En la cuantificación de la incertidumbre, un modelo de aprendizaje automático genera una puntuación numérica con cada salida para reflejar su confianza en la precisión de esa predicción. La incorporación de la cuantificación de la incertidumbre mediante la creación de un nuevo modelo desde cero o el reentrenamiento de un modelo existente generalmente requiere una gran cantidad de datos y un cálculo costoso, lo que a menudo no es práctico. Además, los métodos existentes a veces tienen la consecuencia no deseada de degradar la calidad de las predicciones del modelo.
Los investigadores del MIT y MIT-IBM Watson AI Lab han desarrollado un modelo más pequeño y simple, conocido como metamodelo, que se adjunta al modelo preentrenado más grande y utiliza las características que el modelo más grande ya ha aprendido para ayudarlo a realizar evaluaciones de cuantificación de incertidumbre. Este modelo más pequeño está diseñado para identificar diferentes tipos de incertidumbre, lo que puede ayudar a los investigadores a profundizar en la causa raíz de las predicciones inexactas.
Para el diseño del metamodelo se ha utilizado una técnica que incluye dos tipos de incertidumbre: la incertidumbre de los datos y la incertidumbre del modelo. La incertidumbre de los datos es causada por datos corruptos o etiquetas inexactas y solo se puede reducir reparando el conjunto de datos o recopilando nuevos datos. En la incertidumbre del modelo, el modelo no está seguro de cómo explicar los datos recién observados y puede hacer predicciones incorrectas, muy probablemente porque no ha visto suficientes ejemplos de entrenamiento similares.
Validación de la cuantificación
Una vez que un modelo produce un puntaje de cuantificación de incertidumbre, el usuario aún necesita cierta seguridad de que el puntaje en sí es preciso. Los investigadores crearon una nueva técnica de validación al agregar ruido a los datos en el conjunto de validación; estos datos ruidosos son más como datos fuera de distribución que pueden causar incertidumbre en el modelo. Los investigadores utilizan este conjunto de datos ruidoso para evaluar las cuantificaciones de incertidumbre.
Asimismo, probaron su enfoque al comprobar cómo un metamodelo podía capturar diferentes tipos de incertidumbre para varias tareas posteriores, incluida la detección fuera de distribución y la detección de clasificación errónea. Su método no solo superó todas las líneas de base en cada tarea posterior, sino que también requirió menos tiempo de capacitación para lograr esos resultados.
Esta técnica podría ayudar a los investigadores a habilitar más modelos de aprendizaje automático para realizar eficazmente la cuantificación de la incertidumbre, lo que en última instancia ayudaría a los usuarios a tomar mejores decisiones sobre cuándo confiar en las predicciones.