บทแนะนำและเทคนิค

smevals: ชุดการประเมินขนาดเล็กสำหรับประเมินโมเดล พรอมต์ และเฟรมเวิร์กการประเมิน

หัวข้อต้นฉบับ:smevals - a small eval suite for evaluating models, prompts, and harnesses

สรุปโดย AI

smevals เป็นเครื่องมือใหม่ที่พัฒนาโดย Simon Willison ร่วมกับห้องปฏิบัติการ Prime Radiant สำหรับรันชุดการประเมินขนาดเล็กข้ามการกำหนดค่าโมเดลต่างๆ และให้คะแนนผลลัพธ์ รองรับการรันการประเมินบนโมเดลอย่าง gpt-5.5 และ claude-opus-4.6 ผ่าน `uvx smevals run` โดยแยกการรันออกจากการให้คะแนน และสามารถสร้างรายงาน HTML แบบสแตติกได้ในที่สุด นี่คือการทำซ้ำครั้งที่สามของ Willison ในด้านวิธีการประเมิน

ข้อมูลสำคัญ

  • smevals เป็นเครื่องมือใหม่ที่พัฒนาโดย Simon Willison ร่วมกับห้องปฏิบัติการ Prime Radiant…
  • 5 และ claude-opus-4.
  • 6 ผ่าน `uvx smevals run` โดยแยกการรันออกจากการให้คะแนน และสามารถสร้างรายงาน HTML…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
Simon Willison 博客
หมวดหมู่
บทแนะนำและเทคนิค
คะแนน AI
73
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

一个轻量级评估框架,让编码代理帮你搭 eval,再直接跑模型对比。对想针对业务场景自建基准的团队,比通用榜单更实用。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: smevals: ชุดการประเมินขนาดเล็กสำหรับประเมินโมเดล พรอมต์ และเฟรมเวิร์กการประเมิน 1 สิงหาคม 2026 https://new.nat6.net/th/news/cms9has920ey7ro9k5oh4ooow/

ดูทั้งหมด →