Coinbase migra a modelos chinos: el routing inteligente y la economía del token redefinen el mercado LLM
Coinbase migró sus cargas de trabajo de IA a modelos chinos como GLM 5.2 y Kimi 2.7. Implementaron un sistema de routing automático que selecciona el mejor modelo por tarea y elevó la tasa de acierto de caché del 5% al 60%. El gasto en IA se redujo a la mitad mientras el uso de tokens sigue creciendo.
El CEO de Coinbase, Brian Armstrong, anunció que la compañía ha migrado sus cargas de trabajo de IA a modelos chinos como GLM 5.2 y Kimi 2.7, reduciendo el gasto a la mitad mientras el uso de tokens sigue creciendo.
El sistema implementa un routing automático que selecciona el mejor modelo para cada solicitud según la tarea, el precio y el potencial de caché. La tasa de acierto de caché saltó del 5% al 60%, lo que contribuyó significativamente al ahorro.
Otra estrategia clave es la ingeniería de contexto: se instruye a los desarrolladores a mantener contextos ligeros y comenzar sesiones nuevas para cada tarea, una práctica que se enmarca en el concepto más amplio de "context engineering".
Este movimiento refleja una tendencia más amplia donde empresas como Lindy y Snowflake también están probando modelos chinos como alternativa más barata a OpenAI y Anthropic, poniendo presión sobre los precios de los labs occidentales.