Xiaohongshu เปิดตัวสถาปัตยกรรมโมเดลภาษาขนาดใหญ่ใหม่ PIPO
หัวข้อต้นฉบับ:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
สรุปโดย AI
Xiaohongshu เสนอสถาปัตยกรรม PIPO ซึ่งใช้ตัวบีบอัดฝั่งอินพุตพับสอง token เป็น latent หนึ่งตัว และ MTP head ฝั่งเอาต์พุตขยายสถานะซ่อนเป็น token เพิ่มเติม ทำให้ความยาวอินพุตลดลงครึ่งหนึ่งและเอาต์พุตต่อขั้นตอนเพิ่มเป็นสองเท่า บน backbone Qwen3.5-4B/9B ทำได้ดีขึ้นสูงสุด +7.15 pass@4 บน基準เช่น AIME 2025 ในการประเมินการติดตั้งใช้งาน TTFT เร็วขึ้นประมาณ 1.23× และ TPOT เร็วขึ้นประมาณ 1.86× การฝึกอบรมใช้สองขั้นตอนคือ SFT และ On-Policy Distillation โดยกลั่นความสามารถการตรวจสอบของ verifier เข้าสู่ confidence head แบบเบา
ข้อมูลสำคัญ
- Xiaohongshu เสนอสถาปัตยกรรม PIPO ซึ่งใช้ตัวบีบอัดฝั่งอินพุตพับสอง token เป็น latent หนึ่งตัว และ…
- 5-4B/9B ทำได้ดีขึ้นสูงสุด +7.
- 15 pass@4 บน基準เช่น AIME 2025 ในการประเมินการติดตั้งใช้งาน TTFT เร็วขึ้นประมาณ 1.
- 23× และ TPOT เร็วขึ้นประมาณ 1.
- 86× การฝึกอบรมใช้สองขั้นตอนคือ SFT และ On-Policy Distillation โดยกลั่นความสามารถการตรวจสอบของ…
สรุปสั้น
- เวลาเผยแพร่
- เวลาอัปเดต
- แหล่งที่มา
- 公众号:小红书技术(dots.llm)
- หมวดหมู่
- บทความและงานวิจัย
- คะแนน AI
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
แหล่งที่มาและลิขสิทธิ์
บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม
วิธีอ้างอิง
เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News
Orange News: Xiaohongshu เปิดตัวสถาปัตยกรรมโมเดลภาษาขนาดใหญ่ใหม่ PIPO 10 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrerlfrs0046ihm87smc2el4/