製品とアプリ

vLLM、信頼度ヘッド不要のオンライン適合型受容推定器を導入、EAGLE や MTP などのドラフトモデルで Adaptive Verification が利用可能に

原題:Adaptive Verification Without a Confidence Head

AI 要約

vLLM は confidence scoring をドラフトモデルに基づくすべての投機タイプに拡張した。オンライン適合のロジスティック回帰により、ドラフトモデルの logits から logit(q_max) 特徴を導出してターゲットモデルの受容確率を予測し、Adaptive Verification の信頼度スコアとして用いる。

要点

  • vLLM は confidence scoring をドラフトモデルに基づくすべての投機タイプに拡張した。
  • オンライン適合のロジスティック回帰により、ドラフトモデルの logits から logit(q_max) 特徴を導出してターゲットモデルの受容確率を予測し
  • Adaptive Verification の信頼度スコアとして用いる

概要

公開日時
更新日時
出典
vLLM 官方博客(RSS)
カテゴリ
製品とアプリ
トピック
デプロイエンジニアリング
AI スコア
60
原文を読む 情報源で全文を読む
おすすめの理由

原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。

関連トピック

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:vLLM、信頼度ヘッド不要のオンライン適合型受容推定器を導入、EAGLE や MTP などのドラフトモデルで Adaptive Verification が利用可能に。2026年10月14日。https://new.nat6.net/ja/news/fuzrhjjahftxj9xj36god3pcf/

すべて見る →