Los investigadores del Instituto Tecnológico de Massachusetts (MIT) han desarrollado el asistente inteligente CodeSteer para orientar a un modelo de lenguaje grande (LLM) durante la resolución de consultas complejas. Su funcionamiento consiste en alternar entre explicaciones en texto y generación automatizada de código hasta alcanzar la respuesta adecuada. Esta herramienta actúa como un instructor, revisando las soluciones que el modelo principal proporciona en cada paso, corrigiendo o ajustando el enfoque según sea necesario.
Los modelos de lenguaje extensos han revolucionado la forma en que se comprende el lenguaje natural y el razonamiento textual, lo que los hace herramientas clave en contextos profesionales que requieren análisis de documentos y generación de contenido. Sin embargo, cuando se trata de tareas simbólicas o matemáticas básicas, estos modelos suelen presentar limitaciones importantes. Aunque algunos LLM tienen la capacidad de generar código en lenguajes como Python para enfrentar consultas que requieren procesamiento simbólico, no siempre logran decidir cuándo es más efectivo recurrir al código y cuál es la mejor manera de implementarlo.
Para solucionar este problema, CodeSteer opera junto con el modelo lingüístico principal. Comienza analizando la pregunta planteada y define si es necesario usar texto, código o una combinación de ambos, incluso determinando qué lenguaje de programación convendría emplear. A continuación, elabora una petición para que el modelo principal adopte una estrategia adecuada al problema, como utilizar algoritmos de búsqueda o restricciones específicas en el código generado.
Una vez que el modelo principal responde, CodeSteer analiza la solución y decide si es válida. Si la respuesta no es la correcta, el asistente sigue guiando al LLM para probar nuevas estrategias. Por ejemplo, puede sugerir añadir una comprobación adicional o modificar el enfoque del algoritmo hasta encontrar la solución esperada.
A través de verificadores automáticos, se evalúa la eficiencia y complejidad del código propuesto, alertando si es demasiado simple o ineficiente; o se valida las respuestas mediante la ejecución del código generado para comprobar automáticamente si la salida resuelve correctamente el problema.
Reducción de los recursos computacionales
Durante el desarrollo de CodeSteer, los investigadores encontraron que no existían suficientes conjuntos de datos específicos para ajustar el modelo en tareas simbólicas. Por ello, crearon su propio dataset llamado SymBench, con 37 desafíos que incluyen razonamiento espacial, problemas matemáticos, organización de procesos y optimización. Esta base permitió afinar el rendimiento del asistente y evaluar su eficacia de manera rigurosa.
Los experimentos demostraron que CodeSteer aumentó el promedio de aciertos del 53,3% al 86,4%, superando a nueve métodos de referencia distintos. Además, mostró resultados estables incluso cuando se aplicó a tareas nuevas o a diferentes tipos de modelos de lenguaje extensos.
Según los datos del estudio, CodeSteer no solo aporta mayor precisión en la resolución de problemas simbólicos y planificación, sino que también reduce la cantidad de recursos computacionales necesarios para lograr resultados avanzados en comparación con otros LLM de última generación.
En cuanto a los próximos pasos, los investigadores están explorando cómo hacer aún más eficiente el proceso iterativo que emplea CodeSteer, así como la posibilidad de integrar su mecanismo dentro de un solo modelo capaz de alternar de manera autónoma entre razonamiento textual y generación de código, sin recurrir a un asistente separado.