Hướng dẫn & mẹo

smevals: bộ đánh giá nhỏ để đánh giá mô hình, prompt và khung đánh giá

Tiêu đề gốc:smevals - a small eval suite for evaluating models, prompts, and harnesses

Tóm tắt AI

smevals là công cụ mới do Simon Willison hợp tác với phòng thí nghiệm Prime Radiant phát triển, dùng để chạy bộ đánh giá nhỏ trên nhiều cấu hình mô hình và chấm điểm kết quả. Công cụ hỗ trợ chạy đánh giá các mô hình như gpt-5.5, claude-opus-4.6 qua `uvx smevals run`, tách biệt chạy và chấm điểm, cuối cùng tạo báo cáo HTML tĩnh. Đây là lần lặp thứ ba của Willison về phương pháp đánh giá.

Thông tin chính

  • smevals là công cụ mới do Simon Willison hợp tác với phòng thí nghiệm Prime Radiant phát…
  • Công cụ hỗ trợ chạy đánh giá các mô hình như gpt-5.
  • 5,claude-opus-4.
  • 6 qua `uvx smevals run`,tách biệt chạy và chấm điểm,cuối cùng tạo báo cáo HTML tĩnh.
  • Đây là lần lặp thứ ba của Willison về phương pháp đánh giá.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Simon Willison 博客
Danh mục
Hướng dẫn & mẹo
Điểm AI
73
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。

Thực thể liên quan

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: smevals: bộ đánh giá nhỏ để đánh giá mô hình, prompt và khung đánh giá. 1 tháng 8 2026. https://new.nat6.net/vi/news/cms9has920ey7ro9k5oh4ooow/

Xem tất cả →