บทความและงานวิจัย

ฝ่าขีดจำกัดการให้บริการ DeepSeek-V4-Pro: วิธีปรับแต่งหลายสถานการณ์บน H20

หัวข้อต้นฉบับ:Blog Pushing the Limits of Serving DeepSeek-V4-Pro DeepSeek-V4-Pro is a 1.6-trillion-parameter Mixture-of-Experts (MoE) model released with both FP8 and FP4 weights. Models at this scale naturally benefit from accelerators such as NVIDIA Blackwell GPU... Tianyu Zhang, Yusong Gao, Yun Zhang

สรุปโดย AI

ทีม LMSYS ปรับแต่งการกำหนดค่าการให้บริการตามสถานการณ์บน GPU H20 สำหรับโมเดล MoE ขนาด 1.6 ล้านล้านพารามิเตอร์ DeepSeek-V4-Pro เพื่อเข้าใกล้ประสิทธิภาพของ B300 การใช้งานอ้างอิงบน H20-141GB โหนดเดียวทำได้ 271 output tokens/s ลดช่องว่างประสิทธิภาพกับ B300 ที่ 383.7 tokens/s เหลือ 1.42 เท่า

ข้อมูลสำคัญ

  • ทีม LMSYS ปรับแต่งการกำหนดค่าการให้บริการตามสถานการณ์บน GPU H20 สำหรับโมเดล MoE ขนาด 1.
  • 6 ล้านล้านพารามิเตอร์ DeepSeek-V4-Pro เพื่อเข้าใกล้ประสิทธิภาพของ B300 การใช้งานอ้างอิงบน…
  • 7 tokens/s เหลือ 1.

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
LMSYS Blog
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
73
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

文章提出按上下文长度与并发需求分场景选择 prefill/decode 配置,并用 Humming 压缩和 Online C128 释放 HBM,使 H20 也能服务 1M 上下文,为受限硬件上的大规模推理提供了可复用的工程思路。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: ฝ่าขีดจำกัดการให้บริการ DeepSeek-V4-Pro: วิธีปรับแต่งหลายสถานการณ์บน H20 19 สิงหาคม 2026 https://new.nat6.net/th/news/cmt0e7sxo01eiro2o4l4y9jmh/

ดูทั้งหมด →