논문 및 연구

DeepSeek-V4-Pro 서비스 한계 돌파: H20 기반 다중 시나리오 최적화 방법

원제목:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

AI 요약

LMSYS 팀은 1.6조 파라미터 MoE 모델 DeepSeek-V4-Pro를 H20 GPU에서 시나리오별 서비스 구성으로 B300 성능에 근접시켰다. 단일 노드 H20-141GB 참조 구현은 271 output tokens/s를 달성해 B300의 383.7 tokens/s와의 성능 격차를 1.42배로 좁혔다.

핵심 정보

  • LMSYS 팀은 1.
  • 6조 파라미터 MoE 모델 DeepSeek-V4-Pro를 H20 GPU에서 시나리오별 서비스 구성으로 B300 성능에 근접시켰다.
  • 단일 노드 H20-141GB 참조 구현은 271 output tokens/s를 달성해 B300의 383.
  • 7 tokens/s와의 성능 격차를 1.
  • 42배로 좁혔다.

한눈에 보기

게시
업데이트
출처
LMSYS Blog
카테고리
논문 및 연구
AI 점수
73
원문 읽기 정보 출처에서 전체 본문 읽기
추천 이유

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

관련 엔티티

출처 및 저작권

이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.

원문 기사 · AIHOT 항목

인용 방법

본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.

Orange News: DeepSeek-V4-Pro 서비스 한계 돌파: H20 기반 다중 시나리오 최적화 방법. 2026년 8월 19일. https://new.nat6.net/ko/news/cmt0e7sxo01eiro2o4l4y9jmh/

전체 보기 →