DharmaOCR senkt Textdegenerationsrate mit DPO um 59,4%
Originaltitel:Direct Preference Optimization Beyond Chatbots
KI-Zusammenfassung
Das im April veröffentlichte DharmaOCR (ein strukturiertes OCR-Modell) nutzt bei der Dokumentextraktion in brasilianischem Portugiesisch Direct Preference Optimization (DPO) als zweite Trainingsphase nach dem Supervised Fine-Tuning (SFT). SFT kann Textdegeneration (Wiederholungsschleifen) nicht direkt bestrafen, während DPO die eigenen fehlerhaften Ausgaben des Modells (Degenerationsschleifen) als Negativbeispiele für das Präferenztraining verwendet. Dadurch sank die Textdegenerationsrate über alle getesteten Modellfamilien im Durchschnitt um 59,4%, maximal um 87,6% (etwa Nanonets-OCR2-3B von 1,61% auf 0,20%). Traditionell wird DPO meist für Chat-Alignment eingesetzt; diese Arbeit erweitert es auf objektive OCR-Aufgaben und belegt, dass DPO gezielt bestimmte Fehlermuster beheben kann.
Kernpunkte
- Das im April veröffentlichte DharmaOCR (ein strukturiertes OCR-Modell) nutzt bei der…
- SFT kann Textdegeneration (Wiederholungsschleifen) nicht direkt bestrafen,während DPO die eigenen…
- Dadurch sank die Textdegenerationsrate über alle getesteten Modellfamilien im Durchschnitt um…
- Traditionell wird DPO meist für Chat-Alignment eingesetzt
- diese Arbeit erweitert es auf objektive OCR-Aufgaben und belegt,dass DPO gezielt bestimmte…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 55
DPO 不只能对齐,这篇直接用模型自身的垃圾输出当反例,把 OCR 的重复错误平均降了 59%。思路不复杂,但告诉做结构化生成的工程师:训练数据里最该保留的就是模型犯的错。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: DharmaOCR senkt Textdegenerationsrate mit DPO um 59,4%. 3. Juni 2026. https://new.nat6.net/de/news/cmpy47xxi01kislax812354vk/