KPop: menyelesaikan ketidakselarasan latihan-penaakulan pembelajaran pengukuhan model besar menggunakan divergens KL binari simetri
Tajuk asal:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题
Ringkasan AI
Pasukan Ant Ling mencadangkan kaedah KPop, menangani keruntuhan latihan yang disebabkan oleh ketidakselarasan taburan kebarangkalian antara enjin latihan dan penaakulan dalam pembelajaran pengukuhan model besar. KPop menggunakan divergens KL binari simetri untuk menggantikan ambang nisbah tetap IcePop, hanya memerlukan satu hiperparameter, bertoleransi secara adaptif terhadap token jarang dan mengekang dengan ketat token frekuensi tinggi. Pada Ring-flash-2.0 (jumlah parameter 100B) menyokong latihan RL stabil melebihi 800 langkah, SWE-bench Verified meningkat daripada 70.8% kepada 76.28%.
Maklumat penting
- Pasukan Ant Ling mencadangkan kaedah KPop,menangani keruntuhan latihan yang disebabkan oleh…
- KPop menggunakan divergens KL binari simetri untuk menggantikan ambang nisbah tetap IcePop,hanya…
- Pada Ring-flash-2.
- 0 (jumlah parameter 100B) menyokong latihan RL stabil melebihi 800 langkah,SWE-bench Verified…
- 8% kepada 76.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- 公众号:蚂蚁百灵(Ling)
- Kategori
- Kertas penyelidikan
- Skor AI
- 68
解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: KPop: menyelesaikan ketidakselarasan latihan-penaakulan pembelajaran pengukuhan model besar menggunakan divergens KL binari simetri. 2 Jun 2026. https://new.nat6.net/ms/news/cmsdu2qga010irofz1h15420q/