Đánh giá AI đang trở thành nút thắt năng lực tính toán mới
Tiêu đề gốc:AI evals are becoming the new compute bottleneck
Tóm tắt AI
Chi phí đánh giá AI đã vượt ngưỡng quan trọng, đang định hình lại khả năng tiếp cận của nó. Holistic Agent Leaderboard đã chi khoảng 40.000 USD để chạy hơn 20.000 lần mô phỏng tác nhân AI, chi phí một lần kiểm tra mô hình tiên phong có thể lên tới 2829 USD. Nghiên cứu cho thấy chi phí cho cùng một tác vụ có thể chênh lệch tới 33 lần, việc lựa chọn khung là yếu tố chi phí cốt lõi. Mặc dù các bài kiểm tra tĩnh có thể đạt mức giảm chi phí hàng trăm lần nhờ công nghệ nén, đánh giá tác nhân AI bị hạn chế nén do quỹ đạo dài và nhiễu lớn. Chi tiêu cao không nhất thiết mang lại kết quả tốt hơn: ví dụ trong bài kiểm tra GAIA, phương án 2828 USD có độ chính xác 28,5%, trong khi phương án 1686 USD đạt tới 57,6%. Khi đánh giá bao gồm huấn luyện mô hình, chi phí sẽ hoàn toàn vượt qua khung API thông thường.
Thông tin chính
- Chi phí đánh giá AI đã vượt ngưỡng quan trọng,đang định hình lại khả năng tiếp cận của nó.
- Holistic Agent Leaderboard đã chi khoảng 40.
- 000 USD để chạy hơn 20.
- 000 lần mô phỏng tác nhân AI,chi phí một lần kiểm tra mô hình tiên phong có thể lên tới 2829 USD.
- Nghiên cứu cho thấy chi phí cho cùng một tác vụ có thể chênh lệch tới 33 lần,việc lựa chọn khung…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Quan điểm & bình luận
- Điểm AI
- 62
这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Đánh giá AI đang trở thành nút thắt năng lực tính toán mới. 30 tháng 4 2026. https://new.nat6.net/vi/news/cmokcbel300ilsl4fwekuxwgp/