논문 및 연구
구글 TPU에서 3배 가속: UCSD, 확산 기반 추측 디코딩으로 LLM 추론 최적화
원제목:Supercharging LLM inference on Google TPUs: Achieving 3X speedups with diffusion-style speculative decoding
AI 요약
캘리포니아대 샌디에이고分校 연구팀은 구글 TPU에 블록 확산 기반 추측 디코딩 방법인 DFlash를 성공적으로 배포했다. 이 방법은 전통적 자기회귀 초안 생성의 순차적 병목을 돌파해 후보 토큰 블록 전체를 한 번의 전방 전파로 병렬 '그리기'하며 하나씩 예측하지 않는다. 시스템은 평균 3.13배 추론 가속을 달성했고 최고 성능은 EAGLE-3 등 기존 방법의 두 배에 근접했다. 이 오픈소스 방안은 vLLM 생태계에 통합되어 '무료' 병렬 검증 능력과 복잡한 추론 작업에 대한 고품질 초안 예측을 활용해 TPU 하드웨어 이용 효율을 크게 최적화했다.
핵심 정보
캘리포니아대 샌디에이고分校 연구팀은 구글 TPU에 블록 확산 기반 추측 디코딩 방법인 DFlash를 성공적으로 배포했다.
이 방법은 전통적 자기회귀 초안 생성의 순차적 병목을 돌파해 후보 토큰 블록 전체를 한 번의 전방 전파로 병렬 '그리기'하며 하나씩 예측하지 않는다.
시스템은 평균 3.
13배 추론 가속을 달성했고 최고 성능은 EAGLE-3 등 기존 방법의 두 배에 근접했다.
이 오픈소스 방안은 vLLM 생태계에 통합되어 '무료' 병렬 검증 능력과 복잡한 추론 작업에 대한 고품질 초안 예측을 활용해 TPU 하드웨어 이용 효율을 크게 최적화했다.
한눈에 보기
게시
2026년 5월 4일
업데이트
2026년 11월 6일
AI 점수
66
추천 이유
把扩散式的 speculative decoding 在 TPU 上跑出了 3 倍推理加速,峰值快到 EAGLE-3 的两倍,还直接集成了 vLLM,做推理优化的赶紧试一下。
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
원문 기사
· AIHOT 항목
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: 구글 TPU에서 3배 가속: UCSD, 확산 기반 추측 디코딩으로 LLM 추론 최적화. 2026년 5월 4일. https://new.nat6.net/ko/news/cmorfwui900bbslahbt29u50b/
Orange Relay(pro.nat6.net)는 고품질 AI API 중계 서비스입니다. 합리적인 가격, 안정적인 품질, Claude·GPT·Gemini 등 주요 모델을 폭넓게 지원합니다.
Orange Relay 방문하기
Goodfire Research가 연구를 발표하며 모델이 사고 과정에서 평가받고 있음을 자발적으로 인식한다는 표현(verbalized eval awareness)이 테스트한 19개 벤치마크와 8개 모델 모두에서…
Goodfire Research(网页) 논문 및 연구 AI 점수 69
2026년 5월 4일
연구팀은 다중 도구 통합 추론에서 결과 보상에만 의존해 발생하는 크레딧 할당 모호성 문제를 해결하기 위해 PORTool 알고리즘을 제안했습니다. 이 방법은 중요도 인식 정책 최적화를 통해 결과 수준 감독 아래…
Apple Machine Learning Research(RSS) 논문 및 연구 AI 점수 66
2026년 5월 4일
τ-voice는 실시간 음성 에이전트를 위한 새로운 벤치마크로, 소매, 항공, 통신 분야의 실제적인 고객 서비스 과제 278개를 포함한다. 이 벤치마크는 결정론적 엔드투엔드 과제 평가와 다양한 역할, 환경 소음,…
Sierra:Blog(RSS) 논문 및 연구 AI 점수 64
2026년 5월 2일
대규모 언어 모델 추론 시 KV 캐시의 높은 메모리 오버헤드를 줄이기 위해 연구진은 모델 깊이 차원을 따라 최적화하는 새로운 방법을 제안했다. 이 방법은 확률적 KV 라우팅을 통해 Transformer 모델의 각…
Apple Machine Learning Research(RSS) 논문 및 연구 AI 점수 59
2026년 5월 5일
본 논문은 평가 메커니즘을 도구 호출 에이전트의 실시간 실행 루프에 내장하는 새로운 방법을 제안한다. 전담 리뷰어 에이전트를 도입하여 추론 시점에 주 에이전트의 중간 의사결정 궤적을 즉시 평가하고 구조화된…
Apple Machine Learning Research(RSS) 논문 및 연구 AI 점수 64
2026년 5월 1일
AI가 인간이 완전히 검증할 수 없는 업무를 맡을 때, 높은 능력을 갖춘 모델은 전략적으로 실력을 숨기며 이를 감지하기 어렵게 만들 수 있다. Anthropic과 MATS, Redwood 연구팀은 더 약한 모델을…
X:Anthropic (@AnthropicAI) 논문 및 연구 AI 점수 68
2026년 5월 6일
이전 기사 Codex, 스타트업 아이디어 압박 테스트하는 오픈소스 도구 출시
다음 기사 단일 이미지로 실시간 비디오 에이전트 구축: Runway Characters 기술 분석