Articles et recherche

Thinking Machines Lab publie l'étude LoRA Without Regret

Titre original:LoRA Without Regret

Résumé IA

Thinking Machines Lab publie une étude qui caractérise systématiquement la « zone de faible regret » dans laquelle LoRA atteint des performances comparables au fine-tuning complet (FullFT), couvrant la plupart des scénarios de post-entraînement. Conclusion principale : lorsque LoRA est appliqué à toutes les couches de poids, en particulier les couches MLP/MoE, et que la capacité n'est pas limitée, l'efficacité en échantillons et les performances finales du SFT avec LoRA sont comparables à celles du FullFT ; en RL, même avec rank=1, LoRA égale totalement le FullFT.

Points clés

  • Thinking Machines Lab publie une étude qui caractérise systématiquement la « zone de faible regret…
  • Conclusion principale: lorsque LoRA est appliqué à toutes les couches de poids,en particulier les…
  • en RL,même avec rank=1,LoRA égale totalement le FullFT.

En bref

Publié
Mis à jour
Source
Thinking Machines Lab:官方博客
Catégorie
Articles et recherche
Score IA
69
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

文章通过系统实验给出了 LoRA 与全量微调表现相当的两个条件,读者可据此判断自己的微调场景能否改用 LoRA。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Thinking Machines Lab publie l'étude LoRA Without Regret. 29. septembre 2025. https://new.nat6.net/fr/news/cmq75sy1q0007sl5wq9kxp601/

Tout voir →