Inilunsad ng vLLM ang online-fitted acceptance estimator na walang confidence head, nagagamit na ang Adaptive Verification sa EAGLE, MTP at iba pang draft models
Orihinal na pamagat:Adaptive Verification Without a Confidence Head
AI summary
Sinusuportahan ng vLLM ang confidence scoring para sa lahat ng uri ng speculative decoding na nakabatay sa draft models, gamit ang online-fitted logistic regression para makuha ang logit(q_max) feature mula sa logits ng drafter at mahulaan ang acceptance probability ng target model bilang confidence score ng Adaptive Verification.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- vLLM 官方博客(RSS)
- Kategorya
- Mga produkto at aplikasyon
- AI na marka
- 60
原文给出无置信头草稿模型启用 Adaptive Verification 的在线估计方法、设计取舍和实测数据,方法可直接在 vLLM 中配置复用。
Mga kaugnay na paksa
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilunsad ng vLLM ang online-fitted acceptance estimator na walang confidence head, nagagamit na ang Adaptive Verification sa EAGLE, MTP at iba pang draft models. 14 Oktubre 2026. https://new.nat6.net/fil/news/fuzrhjjahftxj9xj36god3pcf/