Статьи и исследования

DynaMiCS: динамическое смешанное дообучение больших языковых моделей с ограничениями производительности

Оригинальный заголовок:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures

ИИ-резюме

DynaMiCS — динамический смешанный оптимизатор, который формулирует многообластное дообучение как задачу оптимизации с ограничениями производительности. Он оценивает матрицу наклонов межобластных эффектов с помощью коротких предметно-специфичных пробных запусков, а затем вычисляет веса смешивания через оптимизацию на вероятностном симплексе, повышая производительность целевой области при удержании потерь в ограниченных областях ниже эталонного уровня. Эксперименты показывают, что DynaMiCS даёт более сильный прирост в целевой области и лучшее соблюдение ограничений по сравнению с фиксированными базовыми смесями при меньших вычислительных затратах, без эталонной модели, попримерного скоринга и ручной настройки весов смешивания.

Ключевые моменты

  • DynaMiCS — динамический смешанный оптимизатор,который формулирует многообластное дообучение как…
  • Он оценивает матрицу наклонов межобластных эффектов с помощью коротких предметно-специфичных…
  • Эксперименты показывают,что DynaMiCS даёт более сильный прирост в целевой области и лучшее…

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
55
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: DynaMiCS: динамическое смешанное дообучение больших языковых моделей с ограничениями производительности. 7 июля 2026. https://new.nat6.net/ru/news/cmrasd6r300hxihog9hxmteoz/

Смотреть все →