AI评估正成为新的算力瓶颈
原文标题:AI evals are becoming the new compute bottleneck
AI 摘要
AI评估成本已突破关键阈值,正重塑其可及性。Holistic Agent Leaderboard花费约4万美元运行了2万多次智能体推演,单次前沿模型测试成本可达2829美元。研究显示,相同任务成本差异可达33倍,脚手架选择是核心成本驱动因素。虽然静态基准可通过压缩技术实现百倍成本缩减,但智能体评估因轨迹长、噪声大而压缩有限。高支出未必带来更好结果:例如在GAIA测试中,2828美元方案准确率28.5%,而1686美元方案反达57.6%。当评估包含模型训练时,成本将完全超越常规API框架。
关键信息
- AI评估成本已突破关键阈值,正重塑其可及性。
- Holistic Agent Leaderboard花费约4万美元运行了2万多次智能体推演,单次前沿模型测试成本可达2829美元。
- 研究显示,相同任务成本差异可达33倍,脚手架选择是核心成本驱动因素。
- 虽然静态基准可通过压缩技术实现百倍成本缩减,但智能体评估因轨迹长、噪声大而压缩有限。
- 高支出未必带来更好结果:例如在GAIA测试中,2828美元方案准确率28.
速览
- 发布时间
- 更新时间
- 分类
- 观点与评论
- AI 评分
- 62
推荐理由
这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:AI评估正成为新的算力瓶颈。2026年4月30日。https://new.nat6.net/news/cmokcbel300ilsl4fwekuxwgp/