DynaMiCS : micro-ajustement dynamique mixte de grands modèles de langage sous contraintes de performance
Titre original:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
Résumé IA
DynaMiCS est un optimiseur de mélange dynamique qui modélise le micro-ajustement multi-domaines comme un problème d'optimisation sous contraintes de performance. Il estime une matrice de pentes des effets inter-domaines via de courtes exécutions de sondage spécifiques à chaque domaine, puis calcule les poids de mélange par optimisation sur le simplexe de probabilité, améliorant les performances du domaine cible tout en maintenant la perte des domaines contraints sous un niveau de référence. Les expériences montrent que DynaMiCS obtient de meilleurs gains sur le domaine cible et un meilleur respect des contraintes que les bases de mélange fixe, avec un coût de calcul plus faible, sans modèle de référence, sans notation par échantillon ni réglage manuel des poids de mélange.
Points clés
- DynaMiCS est un optimiseur de mélange dynamique qui modélise le micro-ajustement multi-domaines…
- Il estime une matrice de pentes des effets inter-domaines via de courtes exécutions de sondage…
- Les expériences montrent que DynaMiCS obtient de meilleurs gains sur le domaine cible et un…
En bref
- Publié
- Mis à jour
- Catégorie
- Articles et recherche
- Score IA
- 55
苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : DynaMiCS : micro-ajustement dynamique mixte de grands modèles de langage sous contraintes de performance. 7. juillet 2026. https://new.nat6.net/fr/news/cmrasd6r300hxihog9hxmteoz/