Papers & Forschung

DynaMiCS: Dynamisch gemischtes Fine-Tuning großer Sprachmodelle mit Leistungsbeschränkungen

Originaltitel:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures

KI-Zusammenfassung

DynaMiCS ist ein dynamischer Mischungsoptimierer, der Multi-Domain-Fine-Tuning als Optimierungsproblem mit Leistungsbeschränkungen modelliert. Er schätzt über kurze domänenspezifische Testläufe eine Steigungsmatrix für domänenübergreifende Effekte und berechnet dann über Optimierung auf dem Wahrscheinlichkeitssimplex die Mischungsgewichte, wodurch die Leistung in der Ziel-Domäne steigt, während der Verlust in beschränkten Domänen unter dem Referenzniveau bleibt. Experimente zeigen, dass DynaMiCS gegenüber festen Mischungs-Baselines stärkere Verbesserungen in der Ziel-Domäne und eine bessere Einhaltung der Beschränkungen erzielt, bei geringeren Rechenkosten und ohne Referenzmodell, Bewertung pro Stichprobe oder manuelle Anpassung der Mischungsgewichte.

Kernpunkte

  • DynaMiCS ist ein dynamischer Mischungsoptimierer,der Multi-Domain-Fine-Tuning als…
  • Er schätzt über kurze domänenspezifische Testläufe eine Steigungsmatrix für domänenübergreifende…
  • Experimente zeigen,dass DynaMiCS gegenüber festen Mischungs-Baselines stärkere Verbesserungen in…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Apple Machine Learning Research(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
55
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: DynaMiCS: Dynamisch gemischtes Fine-Tuning großer Sprachmodelle mit Leistungsbeschränkungen. 7. Juli 2026. https://new.nat6.net/de/news/cmrasd6r300hxihog9hxmteoz/

Alle ansehen →