Kertas penyelidikan

KPop: menyelesaikan ketidakselarasan latihan-penaakulan pembelajaran pengukuhan model besar menggunakan divergens KL binari simetri

Tajuk asal:解决大模型的"人格分裂":KPop 如何应对强化学习的训练推理不一致问题

Ringkasan AI

Pasukan Ant Ling mencadangkan kaedah KPop, menangani keruntuhan latihan yang disebabkan oleh ketidakselarasan taburan kebarangkalian antara enjin latihan dan penaakulan dalam pembelajaran pengukuhan model besar. KPop menggunakan divergens KL binari simetri untuk menggantikan ambang nisbah tetap IcePop, hanya memerlukan satu hiperparameter, bertoleransi secara adaptif terhadap token jarang dan mengekang dengan ketat token frekuensi tinggi. Pada Ring-flash-2.0 (jumlah parameter 100B) menyokong latihan RL stabil melebihi 800 langkah, SWE-bench Verified meningkat daripada 70.8% kepada 76.28%.

Maklumat penting

  • Pasukan Ant Ling mencadangkan kaedah KPop,menangani keruntuhan latihan yang disebabkan oleh…
  • KPop menggunakan divergens KL binari simetri untuk menggantikan ambang nisbah tetap IcePop,hanya…
  • Pada Ring-flash-2.
  • 0 (jumlah parameter 100B) menyokong latihan RL stabil melebihi 800 langkah,SWE-bench Verified…
  • 8% kepada 76.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
公众号:蚂蚁百灵(Ling)
Kategori
Kertas penyelidikan
Skor AI
68
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

解释固定屏蔽比为何误杀稀有token,并给出用对称二元KL散度自适应调整的方法,有助于理解RL训练不稳定并指导稳定训练实践。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: KPop: menyelesaikan ketidakselarasan latihan-penaakulan pembelajaran pengukuhan model besar menggunakan divergens KL binari simetri. 2 Jun 2026. https://new.nat6.net/ms/news/cmsdu2qga010irofz1h15420q/

Lihat Semua →