製品とアプリ

ネイティブ速度のvLLM transformersモデリングバックエンド

原題:Native-speed vLLM transformers modeling backend

AI 要約

Hugging Faceは、transformersのvLLMバックエンドが手書きのネイティブvLLM実装と同等かそれ以上の速度になったと発表した。モデル作者はコードを移植することなく、transformersを自動的に活用して超高速推論を得られる。テストはQwen3-4B(単一GPU)、Qwen3-32B(テンソル並列)、Qwen3-235B-A22B-FP8 MoE(データ+エキスパート並列)の3構成で行われ、スループットはいずれもネイティブと同等以上だった。このバックエンドはtorch.fxによる静的グラフ分析とASTによるコード書き換えで動的レイヤー融合を実現し、テンソル/パイプライン/エキスパート並列およびtorch.compileをサポートする。ユーザーは`--model-impl transformers`フラグを追加するだけでよい。現在、線形アテンションモデルは未対応だが近日対応予定。

要点

  • Hugging Faceは、transformersのvLLMバックエンドが手書きのネイティブvLLM実装と同等かそれ以上の速度になったと発表した。
  • モデル作者はコードを移植することなく、transformersを自動的に活用して超高速推論を得られる。
  • テストはQwen3-4B(単一GPU)、Qwen3-32B(テンソル並列)、Qwen3-235B-A22B-FP8 MoE(データ+エキスパート並列)の3構成で行われ、スループットはいずれもネイティ…
  • このバックエンドはtorch.
  • fxによる静的グラフ分析とASTによるコード書き換えで動的レイヤー融合を実現し、テンソル/パイプライン/エキスパート並列およびtorch.

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
製品とアプリ
AI スコア
66
原文を読む 情報源で全文を読む
おすすめの理由

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:ネイティブ速度のvLLM transformersモデリングバックエンド。2026年7月8日。https://new.nat6.net/ja/news/cmrcabmvj00ymihqce96ilbfi/

すべて見る →