vLLM、信頼度ヘッド不要のオンライン適合型受容推定器を導入、EAGLE や MTP などのドラフトモデルで Adaptive Verification が利用可能に
原題:Adaptive Verification Without a Confidence Head
AI 要約
vLLM は confidence scoring をドラフトモデルに基づくすべての投機タイプに拡張した。オンライン適合のロジスティック回帰により、ドラフトモデルの logits から logit(q_max) 特徴を導出してターゲットモデルの受容確率を予測し、Adaptive Verification の信頼度スコアとして用いる。
要点
- vLLM は confidence scoring をドラフトモデルに基づくすべての投機タイプに拡張した。
- オンライン適合のロジスティック回帰により、ドラフトモデルの logits から logit(q_max) 特徴を導出してターゲットモデルの受容確率を予測し
- Adaptive Verification の信頼度スコアとして用いる
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- トピック
- デプロイエンジニアリング
- AI スコア
- 60
おすすめの理由
原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。
関連トピック
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:vLLM、信頼度ヘッド不要のオンライン適合型受容推定器を導入、EAGLE や MTP などのドラフトモデルで Adaptive Verification が利用可能に。2026年10月14日。https://new.nat6.net/ja/news/fuzrhjjahftxj9xj36god3pcf/