논문 및 연구

구글 TPU에서 3배 가속: UCSD, 확산 기반 추측 디코딩으로 LLM 추론 최적화

원제목:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding

AI 요약

캘리포니아대 샌디에이고分校 연구팀은 구글 TPU에 블록 확산 기반 추측 디코딩 방법인 DFlash를 성공적으로 배포했다. 이 방법은 전통적 자기회귀 초안 생성의 순차적 병목을 돌파해 후보 토큰 블록 전체를 한 번의 전방 전파로 병렬 '그리기'하며 하나씩 예측하지 않는다. 시스템은 평균 3.13배 추론 가속을 달성했고 최고 성능은 EAGLE-3 등 기존 방법의 두 배에 근접했다. 이 오픈소스 방안은 vLLM 생태계에 통합되어 '무료' 병렬 검증 능력과 복잡한 추론 작업에 대한 고품질 초안 예측을 활용해 TPU 하드웨어 이용 효율을 크게 최적화했다.

핵심 정보

  • 캘리포니아대 샌디에이고分校 연구팀은 구글 TPU에 블록 확산 기반 추측 디코딩 방법인 DFlash를 성공적으로 배포했다.
  • 이 방법은 전통적 자기회귀 초안 생성의 순차적 병목을 돌파해 후보 토큰 블록 전체를 한 번의 전방 전파로 병렬 '그리기'하며 하나씩 예측하지 않는다.
  • 시스템은 평균 3.
  • 13배 추론 가속을 달성했고 최고 성능은 EAGLE-3 등 기존 방법의 두 배에 근접했다.
  • 이 오픈소스 방안은 vLLM 생태계에 통합되어 '무료' 병렬 검증 능력과 복잡한 추론 작업에 대한 고품질 초안 예측을 활용해 TPU 하드웨어 이용 효율을 크게 최적화했다.

한눈에 보기

게시
업데이트
출처
Google Developers Blog(RSS)
카테고리
논문 및 연구
AI 점수
66
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: 구글 TPU에서 3배 가속: UCSD, 확산 기반 추측 디코딩으로 LLM 추론 최적화. 2026년 5월 4일. https://new.nat6.net/ko/news/cmorfwui900bbslahbt29u50b/

전체 보기 →