Uber, AT&T y Pinterest reducen los costos de IA hasta un 92% al pasar a modelos abiertos

Uber redujo el costo por solicitud de IA en un 34% y por sesión en un 52%, AT&T ahorró un 56% al enrutar mediante LiteLLM con una caída de calidad del 2%, y Pinterest ahora opera a menos del 8% del costo de los modelos cerrados al aplicar post-training a modelos abiertos con sus propios datos. Los modelos abiertos en servicios de inferencia son entre 2 y 20 veces más baratos que los modelos frontier, por lo que un desarrollador puede enrutar tareas más simples como resúmenes de código y trabajo de subagentes a open weights y reservar los modelos frontier para la generación compleja.

Fuente: newsletter.pragmaticengineer.com ↗