Mga Papel at Pananaliksik

DynaMiCS: dynamic mixed fine-tuning ng malaking modelo ng wika na may performance constraint

Orihinal na pamagat:DynaMiCS: Fine-Tuning LLMs with Performance Constraints Using Dynamic Mixtures

AI summary

Ang DynaMiCS ay dynamic mixed optimizer na nagmomodelo sa multi-domain fine-tuning bilang optimization problem na may performance constraint. Sa pamamagitan ng maikling domain-specific probe run, tinatantya nito ang cross-domain effect slope matrix, at pagkatapos ay kinakalkula ang mixing weight batay sa probability simplex optimization, para mapabuti ang performance sa target domain habang pinapanatili ang loss sa constraint domain sa ilalim ng reference level. Ipinakita ng eksperimento na nakakamit ng DynaMiCS ang mas malakas na pagbuti sa target domain at pagsunod sa constraint kaysa fixed mixing baseline, at mas mababa ang computational cost, nang hindi nangangailangan ng reference model, per-sample scoring, o manual na pag-adjust ng mixing weight.

Mahahalagang impormasyon

  • Ang DynaMiCS ay dynamic mixed optimizer na nagmomodelo sa multi-domain fine-tuning bilang…
  • Sa pamamagitan ng maikling domain-specific probe run,tinatantya nito ang cross-domain effect slope…
  • Ipinakita ng eksperimento na nakakamit ng DynaMiCS ang mas malakas na pagbuti sa target domain at…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Apple Machine Learning Research(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
55
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

苹果这篇论文做了一件不太起眼但有用的事——让模型在学新领域时自动平衡旧能力,不用手动调混合权重,对需要多任务微调又怕遗忘的团队是个小进步,不过算不上范式级突破。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: DynaMiCS: dynamic mixed fine-tuning ng malaking modelo ng wika na may performance constraint. 7 Hulyo 2026. https://new.nat6.net/fil/news/cmrasd6r300hxihog9hxmteoz/

Tingnan lahat →