ネイティブ速度のvLLM transformersモデリングバックエンド
原題:Native-speed vLLM transformers modeling backend
AI 要約
Hugging Faceは、transformersのvLLMバックエンドが手書きのネイティブvLLM実装と同等かそれ以上の速度になったと発表した。モデル作者はコードを移植することなく、transformersを自動的に活用して超高速推論を得られる。テストはQwen3-4B(単一GPU)、Qwen3-32B(テンソル並列)、Qwen3-235B-A22B-FP8 MoE(データ+エキスパート並列)の3構成で行われ、スループットはいずれもネイティブと同等以上だった。このバックエンドはtorch.fxによる静的グラフ分析とASTによるコード書き換えで動的レイヤー融合を実現し、テンソル/パイプライン/エキスパート並列およびtorch.compileをサポートする。ユーザーは`--model-impl transformers`フラグを追加するだけでよい。現在、線形アテンションモデルは未対応だが近日対応予定。
要点
- Hugging Faceは、transformersのvLLMバックエンドが手書きのネイティブvLLM実装と同等かそれ以上の速度になったと発表した。
- モデル作者はコードを移植することなく、transformersを自動的に活用して超高速推論を得られる。
- テストはQwen3-4B(単一GPU)、Qwen3-32B(テンソル並列)、Qwen3-235B-A22B-FP8 MoE(データ+エキスパート並列)の3構成で行われ、スループットはいずれもネイティ…
- このバックエンドはtorch.
- fxによる静的グラフ分析とASTによるコード書き換えで動的レイヤー融合を実現し、テンソル/パイプライン/エキスパート並列およびtorch.
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:ネイティブ速度のvLLM transformersモデリングバックエンド。2026年7月8日。https://new.nat6.net/ja/news/cmrcabmvj00ymihqce96ilbfi/