ทดสอบเองแล้ว: ความเร็วการอนุมานเหลือเชื่อ
หัวข้อต้นฉบับ:I had to test it myself to believe this unreal inference speed. 3,000 tokens/s for 1 user on standa...
สรุปโดย AI
ทีม Kog บรรลุความเร็วการอนุมานต่อผู้ใช้รายเดียวที่สูงมากบน GPU ศูนย์ข้อมูลมาตรฐาน โดยได้ 3,000 tokens/s บน AMD MI300X 8 ตัว และ 2,100 tokens/s บน NVIDIA H200 8 ตัว เทียบกับความเร็วการอนุมานทั่วไป (ประมาณ 100-300 tokens/s) ถือเป็นการเพิ่มขึ้น 10-30 เท่า แนวคิดหลักคือมองการถอดรหัส LLM เป็นปัญหาการไหลของหน่วยความจำ โดยออกแบบ monokernel ร่วมกัน สร้างกลไกซิงโครไนซ์ใหม่ ทำแผนที่การเข้าถึงหน่วยความจำแบบเจาะจง และใช้สถาปัตยกรรมโมเดล Laneformer ที่มีความขนานแบบ tensor หน่วงเวลา เพื่อกำจัดจุดคอขวดในกระบวนการแบบเดิม
ข้อมูลสำคัญ
- ทีม Kog บรรลุความเร็วการอนุมานต่อผู้ใช้รายเดียวที่สูงมากบน GPU ศูนย์ข้อมูลมาตรฐาน โดยได้ 3
- 000 tokens/s บน AMD MI300X 8 ตัว และ 2
- 100 tokens/s บน NVIDIA H200 8 ตัว เทียบกับความเร็วการอนุมานทั่วไป (ประมาณ 100-300 tokens/s)…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- X:Rohan Paul (@rohanpaul_ai)
- หมวดหมู่
- ความเห็นและบทวิเคราะห์
- คะแนน AI
- 76
Rohan亲自测完Kog AI的3000 token/s,把单用户推理速度拉高了10-30倍,这套monokernel设计可能改写低延迟推理的玩法,做实时AI产品的团队必须盯紧。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: ทดสอบเองแล้ว: ความเร็วการอนุมานเหลือเชื่อ 30 พฤษภาคม 2026 https://new.nat6.net/th/news/cmpr6nk7c0bf4slnok93x9vov/