Mga Papel at Pananaliksik

KPop: paglutas sa training-inference inconsistency ng large model reinforcement learning gamit ang symmetric binary KL divergence

Orihinal na pamagat:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题

AI summary

Iminungkahi ng Ant Ling team ang KPop method, upang tugunan ang training collapse na dulot ng hindi pagkakapareho ng probability distribution ng training at inference engine sa large model reinforcement learning. Ginagamit ng KPop ang symmetric binary KL divergence kapalit ng fixed ratio threshold ng IcePop, isang hyperparameter lamang ang kailangan, adaptive na mapagparaya sa rare tokens at mahigpit na pagpigil sa high-frequency tokens. Sa Ring-flash-2.0 (kabuuang 100B parameters), sinuportahan nito ang 800+ steps na stable RL training, tumaas ang SWE-bench Verified mula 70.8% patungong 76.28%.

Mahahalagang impormasyon

  • Iminungkahi ng Ant Ling team ang KPop method,upang tugunan ang training collapse na dulot ng hindi…
  • Ginagamit ng KPop ang symmetric binary KL divergence kapalit ng fixed ratio threshold ng…
  • Sa Ring-flash-2.
  • 0 (kabuuang 100B parameters),sinuportahan nito ang 800+ steps na stable RL training,tumaas ang…
  • 8% patungong 76.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
公众号:蚂蚁百灵(Ling)
Kategorya
Mga Papel at Pananaliksik
AI na marka
68
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: KPop: paglutas sa training-inference inconsistency ng large model reinforcement learning gamit ang symmetric binary KL divergence. 2 Hunyo 2026. https://new.nat6.net/fil/news/cmsdu2qga010irofz1h15420q/

Tingnan lahat →