smevals: un conjunto de evaluaciones pequeño para modelos, prompts y frameworks de evaluación
Título original:smevals - a small eval suite for evaluating models, prompts, and harnesses
Resumen de IA
smevals es una nueva herramienta desarrollada por Simon Willison en colaboración con el laboratorio Prime Radiant para ejecutar pequeños conjuntos de evaluaciones con distintas configuraciones de modelos y puntuar los resultados. Permite ejecutar evaluaciones sobre modelos como gpt-5.5 y claude-opus-4.6 mediante `uvx smevals run`, separa la ejecución de la puntuación y genera informes HTML estáticos. Es la tercera iteración de Willison en metodología de evaluación.
Puntos clave
- smevals es una nueva herramienta desarrollada por Simon Willison en colaboración con el…
- Permite ejecutar evaluaciones sobre modelos como gpt-5.
- 5 y claude-opus-4.
- 6 mediante `uvx smevals run`,separa la ejecución de la puntuación y genera informes HTML estáticos.
- Es la tercera iteración de Willison en metodología de evaluación.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Simon Willison 博客
- Categoría
- Tutoriales y consejos
- Puntuación IA
- 73
一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: smevals: un conjunto de evaluaciones pequeño para modelos, prompts y frameworks de evaluación. 1. agosto 2026. https://new.nat6.net/es/news/cms9has920ey7ro9k5oh4ooow/