Nouvel article : les modèles de diffusion iREPA sont un moteur de rendu de leurs représentations sous-jacentes. Avec ce nouveau...
Titre original:new paper: iREPA diffusion models are a renderer of their underlying representations. with this new...
Résumé IA
Nouvel article : les modèles de diffusion iREPA sont un moteur de rendu de leurs représentations sous-jacentes. Avec cette nouvelle configuration, nous pouvons mieux comprendre ce que ces représentations signifient réellement. Jas a lancé une exploration spontanée, et nous avons beaucoup appris ces trois derniers mois. PS : c'est aussi une petite expérience sur un nouveau type d'« effet fontaine à eau » en ligne, que j'aime observer. Débattons, discutons, puis transformons cela en science sérieuse par un véritable effort [Citation de @1jaskiratsingh] : ‼️ Les représentations sont importantes pour la génération ! Mais il s'avère que notre compréhension de la façon dont les représentations aident la génération a toujours été erronée ‼️ Nos idées précédentes : (nous avions tort) ❌ Encodeur visuel plus grand → meilleures représentations → meilleure génération ❌ Meilleure sémantique globale → meilleures représentations → meilleure génération Résultat : 🤯 En matière d'alignement des représentations, des encodeurs visuels plus de 20 fois plus petits peuvent atteindre des performances similaires ou meilleures que des modèles plus grands 🤯 Des encodeurs visuels avec une précision de sonde linéaire d'environ 20 % (mesure de la sémantique globale) peuvent surpasser des encodeurs avec une précision >80 % 🤯 Même des caractéristiques classiques comme SiFT et HoG apportent des gains comparables à ceux d'encodeurs visuels modernes bien plus grands ‼️ 🚨 Introduction : qu'est-ce qui importe pour l'alignement des représentations ? L'information globale ou la structure spatiale 🚨 TL;DR : ✅ Meilleure information sémantique globale ≠ meilleure génération ✅ La structure spatiale (et non la sémantique globale) pilote la performance de génération des représentations ✅ Nous proposons iREPA : seulement 3 lignes de code, mettant l'accent sur le transfert de structure spatiale, et améliorant continuellement la vitesse de convergence sur des méthodes comme REPA, REPA-E, Meanflow, JiT Projet passionnant chez @AdobeResearch, en collaboration avec @xingjian_leng, @zongze_wu, @LiangZheng_06, @rzhang88, @elishechtman et @sainingxie 🙏 Pour moi, ce fut aussi une expérience particulièrement intéressante et unique, où à chaque étape du projet nous avons prouvé que nos préjugés étaient faux 😆 Merci également à @YouJiacheng, @ShumingHu et @gallabytes, dont les commentaires sur X ont ouvert cette direction de recherche 🫡 Article : https://arxiv.org/abs/2512.10794 Code : https://github.com/End2End-Diffusion/iREPA Page du projet : https://end2end-diffusion.github.io/irepa Plus de détails dans le fil : [1/n] 🧵
Points clés
- Nouvel article: les modèles de diffusion iREPA sont un moteur de rendu de leurs représentations…
- Avec cette nouvelle configuration,nous pouvons mieux comprendre ce que ces représentations…
- Jas a lancé une exploration spontanée,et nous avons beaucoup appris ces trois derniers mois.
- PS: c'est aussi une petite expérience sur un nouveau type d'« effet fontaine à eau » en ligne,que…
- Débattons,discutons,puis transformons cela en science sérieuse par un véritable effort [Citation…
En bref
- Publié
- Mis à jour
- Source
- X:谢赛宁 (@sainingxie)
- Catégorie
- Autres
颠覆认知:小20倍视觉编码器也能驱动高质量生成,空间结构才是关键
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Nouvel article : les modèles de diffusion iREPA sont un moteur de rendu de leurs représentations sous-jacentes. Avec ce nouveau.... 16. décembre 2025. https://new.nat6.net/fr/news/cmnz6dpf402amsl0fxz3kh21f/