ผลิตภัณฑ์และแอป

Tencent Hunyuan ควอนไทซ์โมเดลเรือธง Hy3 เป็น 1bit และ 4bit ปรับใช้ได้ด้วยการ์ดเดียว

หัวข้อต้นฉบับ:极致量化,近三千亿参数 Hy3 单卡即可部署

สรุปโดย AI

Tencent Hunyuan ควอนไทซ์น้ำหนักโมเดลเรือธง Hy3 ที่มีพารามิเตอร์ 295B เป็น 1bit และ 4bit และแพ็กเป็น GGUF ทำงานร่วมกับระบบนิเวศ llama.cpp ทำให้โมเดลที่เดิมต้องปรับใช้บนคลัสเตอร์หลายการ์ดสามารถทำงานได้ด้วยการ์ด GPU สำหรับการอนุมานขนาด 96GB เพียงใบเดียวเป็นอย่างน้อย เวอร์ชัน 1bit บีบอัดน้ำหนักจาก 598GB เหลือ 85.5GiB ส่วนเวอร์ชัน 4bit มีขนาด 169.9GiB รองรับได้ด้วยการ์ดสองใบ เวอร์ชันควอนไทซ์ให้ผลใกล้เคียงกับเวอร์ชันเต็มในงานทำความเข้าใจเอกสารยาว Agent และโค้ด และเมื่อเปิด MTP ความเร็วในการถอดรหัสเพิ่มขึ้นประมาณ 50%-60%

ข้อมูลสำคัญ

  • Tencent Hunyuan ควอนไทซ์น้ำหนักโมเดลเรือธง Hy3 ที่มีพารามิเตอร์ 295B เป็น 1bit และ 4bit…
  • cpp ทำให้โมเดลที่เดิมต้องปรับใช้บนคลัสเตอร์หลายการ์ดสามารถทำงานได้ด้วยการ์ด GPU…
  • 5GiB ส่วนเวอร์ชัน 4bit มีขนาด 169.
  • 9GiB รองรับได้ด้วยการ์ดสองใบ…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:腾讯混元
หมวดหมู่
ผลิตภัณฑ์และแอป
คะแนน AI
78
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

将 295B 旗舰模型量化至单卡部署,1bit 版本在长文理解上仍接近满血,且提供 MTP 加速,改变了本地运行大模型的门槛与成本考量。

เอนทิตีที่เกี่ยวข้อง

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Tencent Hunyuan ควอนไทซ์โมเดลเรือธง Hy3 เป็น 1bit และ 4bit ปรับใช้ได้ด้วยการ์ดเดียว 14 กรกฎาคม 2026 https://new.nat6.net/th/news/cmsdu2uhb013orofz5u7hfmv2/

ดูทั้งหมด →