Mga Tutorial at Tip

smevals: maliit na eval suite para sa pag-evaluate ng mga modelo, prompt at eval framework

Orihinal na pamagat:smevals - a small eval suite for evaluating models, prompts, and harnesses

AI summary

Ang smevals ay bagong tool na binuo ni Simon Willison sa pakikipagtulungan sa Prime Radiant lab, para sa pagpapatakbo ng maliliit na eval suite sa iba't ibang model configuration at pag-score ng mga resulta. Sinusuportahan nito ang pagpapatakbo ng eval sa mga modelong tulad ng gpt-5.5 at claude-opus-4.6 sa pamamagitan ng `uvx smevals run`, at pinaghihiwalay ang pagpapatakbo at pag-score, at sa huli ay bumubuo ng static HTML report. Ito ang ikatlong iteration ni Willison sa paraan ng pag-evaluate.

Mahahalagang impormasyon

  • Ang smevals ay bagong tool na binuo ni Simon Willison sa pakikipagtulungan sa Prime Radiant…
  • Sinusuportahan nito ang pagpapatakbo ng eval sa mga modelong tulad ng gpt-5.
  • 5 at claude-opus-4.
  • 6 sa pamamagitan ng `uvx smevals run`,at pinaghihiwalay ang pagpapatakbo at pag-score,at sa huli…
  • Ito ang ikatlong iteration ni Willison sa paraan ng pag-evaluate.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Simon Willison 博客
Kategorya
Mga Tutorial at Tip
AI na marka
73
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: smevals: maliit na eval suite para sa pag-evaluate ng mga modelo, prompt at eval framework. 1 Agosto 2026. https://new.nat6.net/fil/news/cms9has920ey7ro9k5oh4ooow/

Tingnan lahat →