チュートリアル

smevals:モデル、プロンプト、評価フレームワークを評価する小型評価スイート

原題:smevals - a small eval suite for evaluating models, prompts, and harnesses

AI 要約

smevalsはSimon Willison氏がPrime Radiant研究所と共同開発した新ツールで、異なるモデル設定をまたいで小型評価スイートを実行し結果を採点する。`uvx smevals run`でgpt-5.5やclaude-opus-4.6などのモデルに対して評価を実行でき、実行と採点を分離し、最終的に静的HTMLレポートを生成できる。これはWillison氏の評価手法における3回目の反復となる。

要点

  • smevalsはSimon Willison氏がPrime Radiant研究所と共同開発した新ツールで、異なるモデル設定をまたいで小型評価スイートを実行し結果を採点する。
  • `uvx smevals run`でgpt-5.
  • 5やclaude-opus-4.
  • 6などのモデルに対して評価を実行でき、実行と採点を分離し、最終的に静的HTMLレポートを生成できる。
  • これはWillison氏の評価手法における3回目の反復となる

概要

公開日時
更新日時
出典
Simon Willison 博客
カテゴリ
チュートリアル
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:smevals:モデル、プロンプト、評価フレームワークを評価する小型評価スイート。2026年8月1日。https://new.nat6.net/ja/news/cms9has920ey7ro9k5oh4ooow/

すべて見る →