Статьи и исследования

Сяохуншу представила новую архитектуру большой модели PIPO

Оригинальный заголовок:小红书发布大模型新架构 PIPO ,让模型一次「吞两个、吐两个」

ИИ-резюме

Сяохуншу предложила архитектуру PIPO: компрессор на входе сворачивает два токена в один latent, а MTP head на выходе разворачивает скрытые состояния в дополнительные токены, что позволяет вдвое сократить длину входа и удвоить выход на каждом шаге. На базе Qwen3.5-4B/9B backbone архитектура даёт прирост до +7.15 pass@4 на бенчмарках, включая AIME 2025. В тестах развёртывания TTFT ускоряется примерно в 1.23×, TPOT — примерно в 1.86×. Обучение проходит в два этапа, SFT и On-Policy Distillation, и переносит способность проверки от verifier в лёгкий confidence head.

Ключевые моменты

  • Сяохуншу предложила архитектуру PIPO: компрессор на входе сворачивает два токена в один latent,а…
  • На базе Qwen3.
  • 5-4B/9B backbone архитектура даёт прирост до +7.
  • 15 pass@4 на бенчмарках,включая AIME 2025.
  • В тестах развёртывания TTFT ускоряется примерно в 1.

Кратко

Опубликовано
Обновлено
Источник
公众号:小红书技术(dots.llm)
Категория
Статьи и исследования
Оценка ИИ
70
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

PIPO把输入压缩和输出多token预测统一起来,并且用蒸馏把验证成本前置,长推理的场景下这可能是下一代推理引擎的样子,做模型加速的应该认真看看。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Сяохуншу представила новую архитектуру большой модели PIPO. 10 июля 2026. https://new.nat6.net/ru/news/cmrerlfrs0046ihm87smc2el4/

Смотреть все →