Neues Paper: iREPA-Diffusionsmodelle sind ein Renderer ihrer zugrunde liegenden Repräsentationen
Originaltitel:new paper: iREPA diffusion models are a renderer of their underlying representations. with this new...
KI-Zusammenfassung
Neues Paper: iREPA-Diffusionsmodelle sind ein Renderer ihrer zugrunde liegenden Repräsentationen. Mit diesem neuen Setup gewinnen wir klarere Einblicke in die wahre Bedeutung dieser Repräsentationen. Jas begann eine spontane Erkundung, und wir haben in den letzten drei Monaten viel gelernt. P.S. Dies ist auch unser kleines Experiment zu einer neuen Art von Online-"Wasserspender-Effekt", und ich liebe es, dieses Phänomen zu sehen. Lasst uns streiten, diskutieren und es dann mit echter Anstrengung in seriöse Wissenschaft verwandeln. [Zitat @1jaskiratsingh]: ‼️ Repräsentationen sind wichtig für die Generierung! Aber es stellt sich heraus, dass unser Verständnis davon, wie Repräsentationen die Generierung unterstützen, die ganze Zeit falsch war ‼️ Unsere bisherigen Annahmen: (Wir lagen falsch) ❌ Größere visuelle Encoder → bessere Repräsentationen → bessere Generierung ❌ Bessere globale Semantik → bessere Repräsentationen → bessere Generierung Es stellte sich heraus: 🤯 Bei der Repräsentationsausrichtung können über 20-mal kleinere visuelle Encoder ähnliche oder bessere Leistungen als größere Modelle erzielen 🤯 Visuelle Encoder mit einer linearen Sondierungsgenauigkeit von etwa 20 % (Maß für globale Semantik) können Encoder mit >80 % Genauigkeit übertreffen 🤯 Sogar klassische Merkmale wie SiFT und HoG bringen Verbesserungen, die mit viel größeren modernen visuellen Encodern vergleichbar sind ‼️ 🚨 Einführung: Was ist wichtig für die Repräsentationsausrichtung? Globale Informationen oder räumliche Struktur 🚨 TL;DR: ✅ Bessere globale semantische Informationen ≠ bessere Generierung ✅ Räumliche Struktur (nicht globale Semantik) treibt die generative Leistung von Repräsentationen ✅ Wir schlagen iREPA vor: nur 3 Codezeilen, betont den Transfer räumlicher Struktur und verbessert die Konvergenzgeschwindigkeit bei Methoden wie REPA, REPA-E, Meanflow und JiT kontinuierlich. Ein spannendes Projekt bei @AdobeResearch, in Zusammenarbeit mit @xingjian_leng, @zongze_wu, @LiangZheng_06, @rzhang88, @elishechtman und @sainingxie 🙏 Für mich war es auch eine besonders interessante und einzigartige Erfahrung, bei jedem Schritt des Projekts unsere eigenen Vorurteile zu widerlegen 😆 Großer Dank auch an @YouJiacheng, @ShumingHu und @gallabytes, deren Kommentare auf X diese Richtung angestoßen haben 🫡 Paper: https://arxiv.org/abs/2512.10794 Code: https://github.com/End2End-Diffusion/iREPA Projektseite: https://end2end-diffusion.github.io/irepa Weitere Details im Thread: [1/n] 🧵
Kernpunkte
- Neues Paper: iREPA-Diffusionsmodelle sind ein Renderer ihrer zugrunde liegenden Repräsentationen.
- Mit diesem neuen Setup gewinnen wir klarere Einblicke in die wahre Bedeutung dieser…
- Jas begann eine spontane Erkundung,und wir haben in den letzten drei Monaten viel gelernt.
- Dies ist auch unser kleines Experiment zu einer neuen Art von Online-"Wasserspender-Effekt",und…
- Lasst uns streiten,diskutieren und es dann mit echter Anstrengung in seriöse Wissenschaft…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- X:谢赛宁 (@sainingxie)
- Kategorie
- Sonstiges
颠覆认知:小20倍视觉编码器也能驱动高质量生成,空间结构才是关键
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Neues Paper: iREPA-Diffusionsmodelle sind ein Renderer ihrer zugrunde liegenden Repräsentationen. 16. Dezember 2025. https://new.nat6.net/de/news/cmnz6dpf402amsl0fxz3kh21f/