DynaMiCS: penalaan halus campuran dinamik model bahasa besar dengan kekangan prestasi
Tajuk asal:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
Ringkasan AI
DynaMiCS ialah pengoptimum campuran dinamik yang memodelkan penalaan halus berbilang domain sebagai masalah pengoptimuman dengan kekangan prestasi. Ia menganggarkan matriks cerun kesan silang domain melalui larian probe khusus domain yang singkat, kemudian mengira pemberat campuran berdasarkan pengoptimuman simpleks kebarangkalian, meningkatkan prestasi domain sasaran sambil mengekalkan kehilangan domain kekangan di bawah tahap rujukan. Eksperimen menunjukkan DynaMiCS mencapai peningkatan domain sasaran dan pemenuhan kekangan yang lebih kukuh berbanding garis dasar campuran tetap, dengan kos pengiraan lebih rendah, tanpa memerlukan model rujukan, penilaian setiap sampel atau pelarasan manual pemberat campuran.
Maklumat penting
- DynaMiCS ialah pengoptimum campuran dinamik yang memodelkan penalaan halus berbilang domain…
- Ia menganggarkan matriks cerun kesan silang domain melalui larian probe khusus domain yang…
- Eksperimen menunjukkan DynaMiCS mencapai peningkatan domain sasaran dan pemenuhan kekangan yang…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Kategori
- Kertas penyelidikan
- Skor AI
- 55
苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: DynaMiCS: penalaan halus campuran dinamik model bahasa besar dengan kekangan prestasi. 7 Julai 2026. https://new.nat6.net/ms/news/cmrasd6r300hxihog9hxmteoz/