Tutorial dan petua

smevals: suite penilaian kecil untuk menilai model, prompt dan rangka kerja penilaian

Tajuk asal:smevals - a small eval suite for evaluating models, prompts, and harnesses

Ringkasan AI

smevals ialah alat baharu yang dibangunkan bersama oleh Simon Willison dan makmal Prime Radiant, digunakan untuk menjalankan suite penilaian kecil merentas konfigurasi model yang berbeza dan menilai keputusan. Ia menyokong menjalankan penilaian terhadap model seperti gpt-5.5, claude-opus-4.6 melalui `uvx smevals run`, memisahkan pelaksanaan dan penilaian, serta akhirnya boleh menghasilkan laporan HTML statik. Ini merupakan iterasi ketiga Willison dalam kaedah penilaian.

Maklumat penting

  • smevals ialah alat baharu yang dibangunkan bersama oleh Simon Willison dan makmal Prime…
  • Ia menyokong menjalankan penilaian terhadap model seperti gpt-5.
  • 5,claude-opus-4.
  • 6 melalui `uvx smevals run`,memisahkan pelaksanaan dan penilaian,serta akhirnya boleh menghasilkan…
  • Ini merupakan iterasi ketiga Willison dalam kaedah penilaian.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Simon Willison 博客
Kategori
Tutorial dan petua
Skor AI
73
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: smevals: suite penilaian kecil untuk menilai model, prompt dan rangka kerja penilaian. 1 Ogos 2026. https://new.nat6.net/ms/news/cms9has920ey7ro9k5oh4ooow/

Lihat Semua →