🔬 Por qué los 'skills' ayudan a los agentes de IA (y cuándo fallan)

Los skills se han convertido en una forma práctica de hacer más capaces a los agentes de IA sin reentrenarlos: son conjuntos compactos de instrucciones que describen los pasos a seguir, qué comprobar y qué errores evitar. Hasta ahora solo se medía si un agente con skills resolvía más tareas, pero no por qué. Un equipo de investigadores de Princeton, UC San Diego y otras universidades ha abierto esa caja negra con experimentos controlados sobre 8.135 ejecuciones de test en tareas idénticas, con y sin skill.

La conclusión principal es contraintuitiva: los skills actúan como un guion de proceso, no como una base de conocimiento. El "procedural grounding" (dar al agente un flujo fiable de pasos) explicó el 65,7 % de los casos en los que el agente con skill mejoró su resultado, frente a apenas un 4,5 % atribuible a aportar conocimiento directamente. Es decir, los skills estabilizan cómo se ejecuta la tarea —qué herramientas tocar, en qué orden, qué comprobaciones intermedias hacer— y reducen errores de arranque o de formato, más que aportar datos nuevos.

Dónde fallan y el techo de recuperación

Pero las skills también introducen problemas nuevos. En un 10 % de los casos, el agente aplicó un guion útil de forma mecánica, en contextos donde no encajaba; y si la tarea exige una solución fundamentalmente distinta, la skill errónea no ayuda. Lo más relevante es que un match exacto no es ni suficiente ni necesario: skills meramente relacionados bastan a menudo.

El segundo cuello de botella es encontrar la skill correcta. Cuando la biblioteca crece de 5 a 100 entradas, la precisión de recuperación en uso real cae del 29,6 % al 3,3 %, y las opciones con nombres muy parecidos dificultan aún más la elección. Los autores proponen tratar los skills como un cielo de vida completo: la próxima generación de agentes que aprenden solos no vendrá de acumular más experiencias, sino de formas más fiables de crearlas, recuperarlas y aplicarlas.