ผลิตภัณฑ์และแอป

vLLM เปิดตัวตัวประมาณการยอมรับแบบออนไลน์ที่ไม่ต้องใช้หัวความเชื่อมั่น ทำให้โมเดลร่างอย่าง EAGLE และ MTP ใช้ Adaptive Verification ได้

หัวข้อต้นฉบับ:Adaptive Verification Without a Confidence Head

สรุปโดย AI

vLLM รองรับการขยาย confidence scoring ไปยังการคาดเดาแบบอิงโมเดลร่างทุกประเภท โดยใช้การถดถอยโลจิสติกที่ปรับพอดีแบบออนไลน์เพื่ออนุมานคุณลักษณะ logit(q_max) จาก logits ของผู้ร่าง เพื่อทำนายความน่าจะเป็นที่โมเดลเป้าหมายจะยอมรับ และใช้เป็นคะแนนความเชื่อมั่นของ Adaptive Verification

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
vLLM 官方博客(RSS)
หมวดหมู่
ผลิตภัณฑ์และแอป
หัวข้อ
วิศวกรรมการติดตั้งใช้งาน
คะแนน AI
60
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。

หัวข้อที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: vLLM เปิดตัวตัวประมาณการยอมรับแบบออนไลน์ที่ไม่ต้องใช้หัวความเชื่อมั่น ทำให้โมเดลร่างอย่าง EAGLE และ MTP ใช้ Adaptive Verification ได้ 14 ตุลาคม 2026 https://new.nat6.net/th/news/fuzrhjjahftxj9xj36god3pcf/

ดูทั้งหมด →