DynaMiCS: Dynamisch gemischtes Fine-Tuning großer Sprachmodelle mit Leistungsbeschränkungen
Originaltitel:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
KI-Zusammenfassung
DynaMiCS ist ein dynamischer Mischungsoptimierer, der Multi-Domain-Fine-Tuning als Optimierungsproblem mit Leistungsbeschränkungen modelliert. Er schätzt über kurze domänenspezifische Testläufe eine Steigungsmatrix für domänenübergreifende Effekte und berechnet dann über Optimierung auf dem Wahrscheinlichkeitssimplex die Mischungsgewichte, wodurch die Leistung in der Ziel-Domäne steigt, während der Verlust in beschränkten Domänen unter dem Referenzniveau bleibt. Experimente zeigen, dass DynaMiCS gegenüber festen Mischungs-Baselines stärkere Verbesserungen in der Ziel-Domäne und eine bessere Einhaltung der Beschränkungen erzielt, bei geringeren Rechenkosten und ohne Referenzmodell, Bewertung pro Stichprobe oder manuelle Anpassung der Mischungsgewichte.
Kernpunkte
- DynaMiCS ist ein dynamischer Mischungsoptimierer,der Multi-Domain-Fine-Tuning als…
- Er schätzt über kurze domänenspezifische Testläufe eine Steigungsmatrix für domänenübergreifende…
- Experimente zeigen,dass DynaMiCS gegenüber festen Mischungs-Baselines stärkere Verbesserungen in…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 55
苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: DynaMiCS: Dynamisch gemischtes Fine-Tuning großer Sprachmodelle mit Leistungsbeschränkungen. 7. Juli 2026. https://new.nat6.net/de/news/cmrasd6r300hxihog9hxmteoz/