論文・研究

KPop:対称二元 KL ダイバージェンスで大規模言語モデル強化学習のトレーニング・推論不一致問題を解決

原題:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题

AI 要約

Ant Bailing チームは KPop 手法を提案し、大規模言語モデル強化学習におけるトレーニングと推論エンジンの確率分布不一致によるトレーニング崩壊に対処した。KPop は IcePop の固定比率閾値の代わりに対称二元 KL ダイバージェンスを用い、ハイパーパラメータは1つのみで、希少 token には適応的に寛容、高頻度 token には厳格に制約する。Ring-flash-2.0(総パラメータ100B)上で800+ステップの安定した RL トレーニングを支え、SWE-bench Verified は70.8%から76.28%に向上した。

要点

  • Ant Bailing チームは KPop 手法を提案し、大規模言語モデル強化学習におけるトレーニングと推論エンジンの確率分布不一致によるトレーニング崩壊に対処した。
  • KPop は IcePop の固定比率閾値の代わりに対称二元 KL ダイバージェンスを用い、ハイパーパラメータは1つのみで、希少 token には適応的に寛容、高頻度 token には厳格に制約する。
  • Ring-flash-2.
  • 0(総パラメータ100B)上で800+ステップの安定した RL トレーニングを支え、SWE-bench Verified は70.
  • 28%に向上した

概要

公開日時
更新日時
出典
公众号:蚂蚁百灵(Ling)
カテゴリ
論文・研究
AI スコア
68
原文を読む 情報源で全文を読む
おすすめの理由

解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:KPop:対称二元 KL ダイバージェンスで大規模言語モデル強化学習のトレーニング・推論不一致問題を解決。2026年6月2日。https://new.nat6.net/ja/news/cmsdu2qga010irofz1h15420q/

すべて見る →