Tencent Hunyuan ควอนไทซ์โมเดลเรือธง Hy3 เป็น 1bit และ 4bit ปรับใช้ได้ด้วยการ์ดเดียว
หัวข้อต้นฉบับ:极致量化,近三千亿参数 Hy3 单卡即可部署
สรุปโดย AI
Tencent Hunyuan ควอนไทซ์น้ำหนักโมเดลเรือธง Hy3 ที่มีพารามิเตอร์ 295B เป็น 1bit และ 4bit และแพ็กเป็น GGUF ทำงานร่วมกับระบบนิเวศ llama.cpp ทำให้โมเดลที่เดิมต้องปรับใช้บนคลัสเตอร์หลายการ์ดสามารถทำงานได้ด้วยการ์ด GPU สำหรับการอนุมานขนาด 96GB เพียงใบเดียวเป็นอย่างน้อย เวอร์ชัน 1bit บีบอัดน้ำหนักจาก 598GB เหลือ 85.5GiB ส่วนเวอร์ชัน 4bit มีขนาด 169.9GiB รองรับได้ด้วยการ์ดสองใบ เวอร์ชันควอนไทซ์ให้ผลใกล้เคียงกับเวอร์ชันเต็มในงานทำความเข้าใจเอกสารยาว Agent และโค้ด และเมื่อเปิด MTP ความเร็วในการถอดรหัสเพิ่มขึ้นประมาณ 50%-60%
ข้อมูลสำคัญ
- Tencent Hunyuan ควอนไทซ์น้ำหนักโมเดลเรือธง Hy3 ที่มีพารามิเตอร์ 295B เป็น 1bit และ 4bit…
- cpp ทำให้โมเดลที่เดิมต้องปรับใช้บนคลัสเตอร์หลายการ์ดสามารถทำงานได้ด้วยการ์ด GPU…
- 5GiB ส่วนเวอร์ชัน 4bit มีขนาด 169.
- 9GiB รองรับได้ด้วยการ์ดสองใบ…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:腾讯混元
- หมวดหมู่
- ผลิตภัณฑ์และแอป
- คะแนน AI
- 78
将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。
เอนทิตีที่เกี่ยวข้อง
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Tencent Hunyuan ควอนไทซ์โมเดลเรือธง Hy3 เป็น 1bit และ 4bit ปรับใช้ได้ด้วยการ์ดเดียว 14 กรกฎาคม 2026 https://new.nat6.net/th/news/cmsdu2uhb013orofz5u7hfmv2/