Mga Papel at Pananaliksik

Inilabas ng Xiaohongshu ang bagong architecture ng malaking modelo na PIPO

Orihinal na pamagat:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

AI summary

Iminungkahi ng Xiaohongshu ang PIPO architecture, na sa pamamagitan ng input-side compressor ay tinutupi ang dalawang token sa isang latent, at sa output-side MTP head ay inilalabas ang hidden state bilang karagdagang token, na nagdudulot ng paghahati sa kalahati ng input length at pagdodoble ng output bawat hakbang. Batay sa Qwen3.5-4B/9B backbone, nagdudulot ito ng hanggang +7.15 pass@4 na pagbuti sa AIME 2025 at iba pang benchmark. Sa deployment evaluation, humigit-kumulang 1.23× ang TTFT acceleration at humigit-kumulang 1.86× ang TPOT acceleration. Gumagamit ang training ng dalawang yugto: SFT at On-Policy Distillation, upang i-distill ang verifier validation capability sa lightweight confidence head.

Mahahalagang impormasyon

  • Iminungkahi ng Xiaohongshu ang PIPO architecture,na sa pamamagitan ng input-side compressor ay…
  • Batay sa Qwen3.
  • 5-4B/9B backbone,nagdudulot ito ng hanggang +7.
  • 15 pass@4 na pagbuti sa AIME 2025 at iba pang benchmark.
  • Sa deployment evaluation,humigit-kumulang 1.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:小红书技术(dots.llm)
Kategorya
Mga Papel at Pananaliksik
AI na marka
70
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ng Xiaohongshu ang bagong architecture ng malaking modelo na PIPO. 10 Hulyo 2026. https://new.nat6.net/fil/news/cmrerlfrs0046ihm87smc2el4/

Tingnan lahat →