Bài báo & nghiên cứu

Xiaohongshu công bố kiến trúc mô hình lớn mới PIPO

Tiêu đề gốc:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

Tóm tắt AI

Xiaohongshu đề xuất kiến trúc PIPO, dùng bộ nén phía đầu vào gộp hai token thành một latent, đầu ra MTP head mở rộng trạng thái ẩn thành token bổ sung, giúp độ dài đầu vào giảm một nửa, đầu ra mỗi bước tăng gấp đôi. Dựa trên backbone Qwen3.5-4B/9B, đạt mức cải thiện tối đa +7,15 pass@4 trên các benchmark như AIME 2025. Trong đánh giá triển khai, TTFT tăng tốc khoảng 1,23×, TPOT tăng tốc khoảng 1,86×. Huấn luyện gồm hai giai đoạn SFT và On-Policy Distillation, chưng cất năng lực kiểm chứng của verifier vào confidence head nhẹ.

Thông tin chính

  • Xiaohongshu đề xuất kiến trúc PIPO,dùng bộ nén phía đầu vào gộp hai token thành một latent,đầu ra…
  • Dựa trên backbone Qwen3.
  • 5-4B/9B,đạt mức cải thiện tối đa +7,15 pass@4 trên các benchmark như AIME 2025.
  • Trong đánh giá triển khai,TTFT tăng tốc khoảng 1,23×,TPOT tăng tốc khoảng 1,86×.
  • Huấn luyện gồm hai giai đoạn SFT và On-Policy Distillation,chưng cất năng lực kiểm chứng của…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:小红书技术(dots.llm)
Danh mục
Bài báo & nghiên cứu
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Xiaohongshu công bố kiến trúc mô hình lớn mới PIPO. 10 tháng 7 2026. https://new.nat6.net/vi/news/cmrerlfrs0046ihm87smc2el4/

Xem tất cả →