415.tech
来自硅谷前线的 AI 与科技资讯
Uber、AT&T与Pinterest转向开源模型,AI成本最高降低92%

Uber、AT&T与Pinterest转向开源模型,AI成本最高降低92%

Uber将单次AI请求和单次会话的成本分别降低了34%和52%;AT&T通过LiteLLM进行路由,以2%的质量损耗节省了56%的成本;Pinterest通过在自有数据上对开源模型进行后训练,目前的运行成本不到闭源模型的8%。推理服务上的开源模型比前沿模型便宜2至20倍,因此开发者可将代码摘要和subagent任务等简单工作路由至开放权重,而将前沿模型保留用于复杂的生成任务。

来源: newsletter.pragmaticengineer.com

分享到 X邮件
本期其他报道