네이티브 속도의 vLLM transformers 모델링 백엔드
원제목:Native-speed vLLM transformers modeling backend
AI 요약
Hugging Face는 transformers vLLM 백엔드가 이제 직접 작성한 네이티브 vLLM 구현과 속도가 동등하거나 더 빠르다고 발표했다. 모델 작성자는 코드를 이식할 필요 없이 transformers를 자동으로 활용해 초고속 추론을 얻을 수 있다. 테스트는 Qwen3-4B(단일 GPU), Qwen3-32B(텐서 병렬), Qwen3-235B-A22B-FP8 MoE(데이터+전문가 병렬) 세 가지 구성으로 진행됐으며 처리량은 모두 네이티브와 동등하거나 초과했다. 이 백엔드는 torch.fx 정적 분석 그래프와 AST 코드 재작성으로 동적 레이어 융합을 구현하고, 텐서/파이프라인/전문가 병렬 및 torch.compile을 지원한다. 사용자는 `--model-impl transformers` 플래그만 추가하면 된다. 현재 선형 어텐션 모델은 지원하지 않지만 곧 지원할 예정이다.
핵심 정보
- Hugging Face는 transformers vLLM 백엔드가 이제 직접 작성한 네이티브 vLLM 구현과 속도가 동등하거나 더 빠르다고 발표했다.
- 모델 작성자는 코드를 이식할 필요 없이 transformers를 자동으로 활용해 초고속 추론을 얻을 수 있다.
- 테스트는 Qwen3-4B(단일 GPU),Qwen3-32B(텐서 병렬),Qwen3-235B-A22B-FP8 MoE(데이터+전문가 병렬) 세 가지 구성으로 진행됐으며 처리량은 모두…
- 이 백엔드는 torch.
- fx 정적 분석 그래프와 AST 코드 재작성으로 동적 레이어 융합을 구현하고,텐서/파이프라인/전문가 병렬 및 torch.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 제품 및 앱
- AI 점수
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 네이티브 속도의 vLLM transformers 모델링 백엔드. 2026년 7월 8일. https://new.nat6.net/ko/news/cmrcabmvj00ymihqce96ilbfi/