由于客服代表成本上升，企业正开始部署AI模型路由器
企业正日益积极地采用人工智能模型路由器——这是一种软件，它会根据价格、速度和工作质量等因素，为特定任务选择合适的人工智能模型。 据《财富》杂志报道，原因在于自主AI代理的成本，特别是编程工具Claude Code和Codex，它们可能连续运行数小时并消耗数百万个令牌。
与普通聊天机器人不同，自主代理在执行长期任务时可以多次调用强大的模型。这会显著增加推理费用——即模型生成响应所产生的费用。 根据该刊引用的研究，62%的企业表示，过去一年中AI方面的意外开支对业务决策产生了重大影响。 在这些案例中，40%的情况需要提交至董事会层面处理，33%的公司实施了紧急支出冻结，另有25%的公司推迟或取消了AI项目。
路由器可避免将每个请求都发送至成本最高的前沿模型。企业可以自主设定选择规则，或授权系统在代理工作的每个阶段自动确定最优模型。 业内人士表示，这种方法可将推理成本降低两位数百分比，在某些情况下甚至可达30%。
更多最新资讯请关注Telegram频道UA.News。
目前活跃于该市场的有OpenRouter、Not Diamond和LiteLLM。 OpenRouter提供对数百种AI模型的统一访问；Not Diamond会自动将请求路由至其认为最适合特定任务的模型；而LiteLLM则帮助企业构建自己的路由基础设施。 Salesforce和Databricks也正在将其AI平台与这些功能进行集成。据《财富》杂志报道，Cursor、Ramp和Meta正在开发自己的路由器，而Runway已经推出了此类产品。
Not Diamond首席执行官托马斯·埃尔南多·科夫曼指出，对所有任务都使用最强大的模型可能是一种资源浪费。 与此同时，如果选择的模型过小，且执行任务所需时间更长，同样会增加成本。路由系统可以综合考虑查询的复杂度、对话历史及其他信号，从而为客服代表的下一步操作匹配合适的模型和推理级别。
Salesforce总裁兼首席架构师大卫·沃德认为，未来路由功能将不仅限于成本控制，还涉及信任、合规性、企业数据访问管理以及可衡量的业务成果。 与此同时，OpenRouter的联合创始人兼首席运营官克里斯·克拉克强调，构建工业级路由平台需要与模型供应商建立合作伙伴关系，持续监控其运行状况，并及时应对故障和规格变更。
