Inilabas ng Xiaohongshu ang bagong architecture ng malaking modelo na PIPO
Orihinal na pamagat:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」
AI summary
Iminungkahi ng Xiaohongshu ang PIPO architecture, na sa pamamagitan ng input-side compressor ay tinutupi ang dalawang token sa isang latent, at sa output-side MTP head ay inilalabas ang hidden state bilang karagdagang token, na nagdudulot ng paghahati sa kalahati ng input length at pagdodoble ng output bawat hakbang. Batay sa Qwen3.5-4B/9B backbone, nagdudulot ito ng hanggang +7.15 pass@4 na pagbuti sa AIME 2025 at iba pang benchmark. Sa deployment evaluation, humigit-kumulang 1.23× ang TTFT acceleration at humigit-kumulang 1.86× ang TPOT acceleration. Gumagamit ang training ng dalawang yugto: SFT at On-Policy Distillation, upang i-distill ang verifier validation capability sa lightweight confidence head.
Mahahalagang impormasyon
- Iminungkahi ng Xiaohongshu ang PIPO architecture,na sa pamamagitan ng input-side compressor ay…
- Batay sa Qwen3.
- 5-4B/9B backbone,nagdudulot ito ng hanggang +7.
- 15 pass@4 na pagbuti sa AIME 2025 at iba pang benchmark.
- Sa deployment evaluation,humigit-kumulang 1.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- 公众号:小红书技术(dots.llm)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 70
PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Inilabas ng Xiaohongshu ang bagong architecture ng malaking modelo na PIPO. 10 Hulyo 2026. https://new.nat6.net/fil/news/cmrerlfrs0046ihm87smc2el4/