제품 및 앱

네이티브 속도의 vLLM transformers 모델링 백엔드

원제목:Native-speed vLLM transformers modeling backend

AI 요약

Hugging Face는 transformers vLLM 백엔드가 이제 직접 작성한 네이티브 vLLM 구현과 속도가 동등하거나 더 빠르다고 발표했다. 모델 작성자는 코드를 이식할 필요 없이 transformers를 자동으로 활용해 초고속 추론을 얻을 수 있다. 테스트는 Qwen3-4B(단일 GPU), Qwen3-32B(텐서 병렬), Qwen3-235B-A22B-FP8 MoE(데이터+전문가 병렬) 세 가지 구성으로 진행됐으며 처리량은 모두 네이티브와 동등하거나 초과했다. 이 백엔드는 torch.fx 정적 분석 그래프와 AST 코드 재작성으로 동적 레이어 융합을 구현하고, 텐서/파이프라인/전문가 병렬 및 torch.compile을 지원한다. 사용자는 `--model-impl transformers` 플래그만 추가하면 된다. 현재 선형 어텐션 모델은 지원하지 않지만 곧 지원할 예정이다.

핵심 정보

  • Hugging Face는 transformers vLLM 백엔드가 이제 직접 작성한 네이티브 vLLM 구현과 속도가 동등하거나 더 빠르다고 발표했다.
  • 모델 작성자는 코드를 이식할 필요 없이 transformers를 자동으로 활용해 초고속 추론을 얻을 수 있다.
  • 테스트는 Qwen3-4B(단일 GPU),Qwen3-32B(텐서 병렬),Qwen3-235B-A22B-FP8 MoE(데이터+전문가 병렬) 세 가지 구성으로 진행됐으며 처리량은 모두…
  • 이 백엔드는 torch.
  • fx 정적 분석 그래프와 AST 코드 재작성으로 동적 레이어 융합을 구현하고,텐서/파이프라인/전문가 병렬 및 torch.

한눈에 보기

게시
업데이트
출처
Hugging Face 社区博客(混合发现)
카테고리
제품 및 앱
AI 점수
66
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 네이티브 속도의 vLLM transformers 모델링 백엔드. 2026년 7월 8일. https://new.nat6.net/ko/news/cmrcabmvj00ymihqce96ilbfi/

전체 보기 →