DynaMiCS: динамическое смешанное дообучение больших языковых моделей с ограничениями производительности
Оригинальный заголовок:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures
ИИ-резюме
DynaMiCS — динамический смешанный оптимизатор, который формулирует многообластное дообучение как задачу оптимизации с ограничениями производительности. Он оценивает матрицу наклонов межобластных эффектов с помощью коротких предметно-специфичных пробных запусков, а затем вычисляет веса смешивания через оптимизацию на вероятностном симплексе, повышая производительность целевой области при удержании потерь в ограниченных областях ниже эталонного уровня. Эксперименты показывают, что DynaMiCS даёт более сильный прирост в целевой области и лучшее соблюдение ограничений по сравнению с фиксированными базовыми смесями при меньших вычислительных затратах, без эталонной модели, попримерного скоринга и ручной настройки весов смешивания.
Ключевые моменты
- DynaMiCS — динамический смешанный оптимизатор,который формулирует многообластное дообучение как…
- Он оценивает матрицу наклонов межобластных эффектов с помощью коротких предметно-специфичных…
- Эксперименты показывают,что DynaMiCS даёт более сильный прирост в целевой области и лучшее…
Кратко
- Опубликовано
- Обновлено
- Источник
- Apple Machine Learning Research(RSS)
- Категория
- Статьи и исследования
- Оценка ИИ
- 55
苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: DynaMiCS: динамическое смешанное дообучение больших языковых моделей с ограничениями производительности. 7 июля 2026. https://new.nat6.net/ru/news/cmrasd6r300hxihog9hxmteoz/