Articles et recherche

DynaMiCS : micro-ajustement dynamique mixte de grands modèles de langage sous contraintes de performance

Titre original:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures

Résumé IA

DynaMiCS est un optimiseur de mélange dynamique qui modélise le micro-ajustement multi-domaines comme un problème d'optimisation sous contraintes de performance. Il estime une matrice de pentes des effets inter-domaines via de courtes exécutions de sondage spécifiques à chaque domaine, puis calcule les poids de mélange par optimisation sur le simplexe de probabilité, améliorant les performances du domaine cible tout en maintenant la perte des domaines contraints sous un niveau de référence. Les expériences montrent que DynaMiCS obtient de meilleurs gains sur le domaine cible et un meilleur respect des contraintes que les bases de mélange fixe, avec un coût de calcul plus faible, sans modèle de référence, sans notation par échantillon ni réglage manuel des poids de mélange.

Points clés

  • DynaMiCS est un optimiseur de mélange dynamique qui modélise le micro-ajustement multi-domaines…
  • Il estime une matrice de pentes des effets inter-domaines via de courtes exécutions de sondage…
  • Les expériences montrent que DynaMiCS obtient de meilleurs gains sur le domaine cible et un…

En bref

Publié
Mis à jour
Source
Apple Machine Learning Research(RSS)
Catégorie
Articles et recherche
Score IA
55
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : DynaMiCS : micro-ajustement dynamique mixte de grands modèles de langage sous contraintes de performance. 7. juillet 2026. https://new.nat6.net/fr/news/cmrasd6r300hxihog9hxmteoz/

Tout voir →