Tutoriales y consejos

smevals: un conjunto de evaluaciones pequeño para modelos, prompts y frameworks de evaluación

Título original:smevals - a small eval suite for evaluating models, prompts, and harnesses

Resumen de IA

smevals es una nueva herramienta desarrollada por Simon Willison en colaboración con el laboratorio Prime Radiant para ejecutar pequeños conjuntos de evaluaciones con distintas configuraciones de modelos y puntuar los resultados. Permite ejecutar evaluaciones sobre modelos como gpt-5.5 y claude-opus-4.6 mediante `uvx smevals run`, separa la ejecución de la puntuación y genera informes HTML estáticos. Es la tercera iteración de Willison en metodología de evaluación.

Puntos clave

  • smevals es una nueva herramienta desarrollada por Simon Willison en colaboración con el…
  • Permite ejecutar evaluaciones sobre modelos como gpt-5.
  • 5 y claude-opus-4.
  • 6 mediante `uvx smevals run`,separa la ejecución de la puntuación y genera informes HTML estáticos.
  • Es la tercera iteración de Willison en metodología de evaluación.

Resumen rápido

Publicado
Actualizado
Fuente
Simon Willison 博客
Categoría
Tutoriales y consejos
Puntuación IA
73
Leer el original Leer el artículo completo en la fuente original
Por qué importa

一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。

Entidades relacionadas

Fuente y derechos

Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.

Artículo original · Ficha de AIHOT

Cómo citar

Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.

Orange News: smevals: un conjunto de evaluaciones pequeño para modelos, prompts y frameworks de evaluación. 1. agosto 2026. https://new.nat6.net/es/news/cms9has920ey7ro9k5oh4ooow/

Ver todo →