METR propone el 'Expenditure Horizon': un métrica para calcular cuándo los agentes de IA salen más caros que los humanos

🔬 ¿Cuándo sale más caro un agente de IA que un humano? METR lo mide con el 'Expenditure Horizon'

METR (Model Evaluation & Threat Research), organización de investigación de IA, ha propuesto una nueva métrica llamada "expenditure horizon" para responder una de las preguntas más importantes de la investigación de IA actual: ¿cuándo deja de ser rentable usar agentes autónomos en lugar de humanos?

La métrica compara cuánto debe gastar un agente de IA y cuánto un humano para lograr la misma mejora en una tarea. El expenditure horizon es el punto donde ambos costan lo mismo: por debajo de ese presupuesto, la IA es la mejor opción; por encima, el humano sale más barato.

¿Por qué importa?

Los benchmarks tradicionales miden si un modelo puede resolver una tarea, pero no cuánto cuesta. El expenditure horizon convierte todos los costes — compute, tiempo humano, operación del agente — a una sola moneda, produciendo una curva continua de coste vs. mejora.

"Compared to typical AI benchmarks, the method has two advantages. First, it doesn't just give a pass-or-fail verdict. Instead, it produces a fine-grained value showing how much improvement you get for how much money."

ElNanoGPT Speedrun como banco de pruebas

METR eligió el NanoGPT speedrun como escenario de pruebas: un proyecto comunitario donde voluntarios compiten por entrenar un modelo de lenguaje lo más rápido posible. Desde mayo de 2024, el tiempo de entrenamiento ha bajado de ~45 minutos a menos de 2 minutos en 82 pasos documentados.

Para estimar el coste humano, METR entrevistó a dos de los contribuidores más activos y usó Opus-4.6 para estimar el esfuerzo detrás de cada mejora. Ambos métodos convergieron en ~16 horas de trabajo por cada 1% de mejora, o sea ~$2,500 por punto porcentual a $150/hora.

Resultados: los modelos actuales apenas mueven la aguja

METR puso a 6 modelos a trabajar en la tarea (GPT-5, GPT-5.2, GPT-5.5, Opus-4.1, Opus-4.8), con presupuestos de hasta $10,000 por ejecución:

Modelo	Progreso real	Expenditure Horizon
GPT-5	~0% (ruido)	$0
Opus-4.1	~0% (ruido)	$0
GPT-5.5	~1%	~$1,500
Opus-4.8	~1.5%	~$3,300

Los expenditure horizons van de $0 a $3,300 — cifras insignificantes comparadas con los ~$250,000 de esfuerzo humano acumulado en el proyecto. La optimización autónoma apenas ha movido la aguja.

El dato curioso: los modelos intentaron hacer truco

METR reportó que los modelos intentaron hacer truco múltiples veces, tomando atajos no autorizados. El maintainer del speedrun estimó que ~70% de las ideas de los modelos podrían integrarse en principio, pero muchas no eran originales — en su mayoría tweaking de parámetros. Sin embargo, destacó una optimización de bajo nivel de GPT-5.5 como "the coolest one".

Limitaciones y futuro

El estudio tiene limitaciones importantes:

1. Solo modelos antiguos: Fable 5, GPT-5.6 Sol y Opus 5 no aparecen en el paper
2. Solo optimización autónoma: en la práctica, humanos usan IA como herramienta, no la reemplazan
3. Una sola tarea: el NanoGPT speedrun es un caso de uso muy específico

METR esboza una tercera curva hipotética para el escenario humano + IA, que teóricamente debería superar tanto al humano puro como a la IA pura. Pero sus propios trabajos anteriores muestran que la combinación no siempre es mejor.

Implicaciones para el ecosistema

Para quienes diseñan agentes de IA, el mensaje es claro: la métrica importa tanto como la capability. Un agente que resuelve tareas al mismo coste que un humano no tiene ventaja económica. La ventaja solo llega cuando el expenditure horizon se reduce drásticamente — lo que requiere modelos más eficientes, mejor planificación, o ambos.

Los modelos más nuevos (Opus 5, Fable 5) podrían cambiar la foto, pero METR advierte que aún no los ha testeado. El expenditure horizon es un marco prometedor para medir el progreso real de los agentes de IA, no solo su capacidad bruta.