บทความและงานวิจัย

Xiaohongshu เปิดตัวสถาปัตยกรรมโมเดลภาษาขนาดใหญ่ใหม่ PIPO

หัวข้อต้นฉบับ:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

สรุปโดย AI

Xiaohongshu เสนอสถาปัตยกรรม PIPO ซึ่งใช้ตัวบีบอัดฝั่งอินพุตพับสอง token เป็น latent หนึ่งตัว และ MTP head ฝั่งเอาต์พุตขยายสถานะซ่อนเป็น token เพิ่มเติม ทำให้ความยาวอินพุตลดลงครึ่งหนึ่งและเอาต์พุตต่อขั้นตอนเพิ่มเป็นสองเท่า บน backbone Qwen3.5-4B/9B ทำได้ดีขึ้นสูงสุด +7.15 pass@4 บน基準เช่น AIME 2025 ในการประเมินการติดตั้งใช้งาน TTFT เร็วขึ้นประมาณ 1.23× และ TPOT เร็วขึ้นประมาณ 1.86× การฝึกอบรมใช้สองขั้นตอนคือ SFT และ On-Policy Distillation โดยกลั่นความสามารถการตรวจสอบของ verifier เข้าสู่ confidence head แบบเบา

ข้อมูลสำคัญ

  • Xiaohongshu เสนอสถาปัตยกรรม PIPO ซึ่งใช้ตัวบีบอัดฝั่งอินพุตพับสอง token เป็น latent หนึ่งตัว และ…
  • 5-4B/9B ทำได้ดีขึ้นสูงสุด +7.
  • 15 pass@4 บน基準เช่น AIME 2025 ในการประเมินการติดตั้งใช้งาน TTFT เร็วขึ้นประมาณ 1.
  • 23× และ TPOT เร็วขึ้นประมาณ 1.
  • 86× การฝึกอบรมใช้สองขั้นตอนคือ SFT และ On-Policy Distillation โดยกลั่นความสามารถการตรวจสอบของ…

สรุปสั้น

เวลาเผยแพร่
เวลาอัปเดต
แหล่งที่มา
公众号:小红书技术(dots.llm)
หมวดหมู่
บทความและงานวิจัย
คะแนน AI
70
อ่านต้นฉบับ อ่านบทความฉบับเต็มที่แหล่งข่าวต้นฉบับ
เหตุผลที่แนะนำ

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

แหล่งที่มาและลิขสิทธิ์

บทความนี้เรียบเรียงจากพาดหัวคัดสรรและบทสรุป AI จาก API สาธารณะของ AIHOT โดยระบุแหล่งที่มาและลิงก์กลับแล้ว ลิขสิทธิ์ต้นฉบับเป็นของสื่อและผู้เขียนต้นทาง เว็บไซต์นี้ไม่ได้สะท้อนเนื้อหาฉบับเต็ม

ลิงก์ต้นฉบับ · รายการ AIHOT

วิธีอ้างอิง

เมื่ออ้างอิงบทความนี้ โปรดระบุชื่อเรื่อง วันที่ และลิงก์ถาวร พร้อมระบุแหล่งที่มาเป็น Orange News

Orange News: Xiaohongshu เปิดตัวสถาปัตยกรรมโมเดลภาษาขนาดใหญ่ใหม่ PIPO 10 กรกฎาคม 2026 https://new.nat6.net/th/news/cmrerlfrs0046ihm87smc2el4/

ดูทั้งหมด →