Статьи и исследования

KPop: симметричная бинарная KL-дивергенция устраняет расхождение обучения и вывода в RL больших моделей

Оригинальный заголовок:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题

ИИ-резюме

Команда Ant Bailing предложила метод KPop для борьбы с крахом обучения из-за несовпадения распределений вероятностей движков обучения и вывода в RL больших моделей. KPop заменяет фиксированный порог отношения в IcePop симметричной бинарной KL-дивергенцией и требует лишь одного гиперпараметра, адаптивно допуская редкие токены и строго ограничивая частые. На Ring-flash-2.0 (100B общих параметров) он обеспечил стабильное RL-обучение более 800 шагов, а SWE-bench Verified вырос с 70,8% до 76,28%.

Ключевые моменты

  • Команда Ant Bailing предложила метод KPop для борьбы с крахом обучения из-за несовпадения…
  • KPop заменяет фиксированный порог отношения в IcePop симметричной бинарной KL-дивергенцией и…
  • На Ring-flash-2.
  • 0 (100B общих параметров) он обеспечил стабильное RL-обучение более 800 шагов,а SWE-bench Verified…

Кратко

Опубликовано
Обновлено
Источник
公众号:蚂蚁百灵(Ling)
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: KPop: симметричная бинарная KL-дивергенция устраняет расхождение обучения и вывода в RL больших моделей. 2 июня 2026. https://new.nat6.net/ru/news/cmsdu2qga010irofz1h15420q/

Смотреть все →