Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений. С этой новой...
Оригинальный заголовок:new paper: iREPA diffusion models are a renderer of their underlying representations. with this new...
ИИ-резюме
Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений. Благодаря этой новой настройке мы можем яснее увидеть, что на самом деле означают эти представления. Jas начал спонтанное исследование, и за последние три месяца мы многому научились. P.S. Это также наш небольшой эксперимент с новым типом онлайн-«эффекта кулера» — мне нравится это наблюдать. Давайте спорить, обсуждать, а затем превращать это настоящими усилиями в серьёзную науку. [Цитата @1jaskiratsingh]: ‼️ Представления важны для генерации! Но, как выяснилось, мы всё это время неправильно понимали, как представления помогают генерации ‼️ Наши прежние идеи: (мы ошибались) ❌ Более крупный визуальный энкодер → лучшие представления → лучшая генерация ❌ Лучшая глобальная семантика → лучшие представления → лучшая генерация Оказалось: 🤯 В задаче выравнивания представлений визуальные энкодеры в 20+ раз меньше могут достигать сходной или лучшей производительности, чем более крупные модели 🤯 Визуальные энкодеры с точностью линейного зондирования около 20% (метрика глобальной семантики) могут превосходить энкодеры с точностью >80% 🤯 Даже классические признаки вроде SiFT и HoG дают прирост, сопоставимый с современными гораздо более крупными визуальными энкодерами ‼️ 🚨 Представляем: что важно для выравнивания представлений? Глобальная информация или пространственная структура 🚨 TL;DR: ✅ Лучшая глобальная семантическая информация ≠ лучшая генерация ✅ Пространственная структура (а не глобальная семантика) определяет генерационную производительность представлений ✅ Мы предлагаем iREPA: всего 3 строки кода, акцент на переносе пространственной структуры, стабильно ускоряет сходимость в методах REPA, REPA-E, Meanflow, JiT и др. Захватывающий проект в @AdobeResearch совместно с @xingjian_leng, @zongze_wu, @LiangZheng_06, @rzhang88, @elishechtman и @sainingxie 🙏 Для меня это также особенно интересный и уникальный опыт: на каждом шаге проекта мы опровергали собственные предубеждения 😆 Также огромная благодарность @YouJiacheng, @ShumingHu и @gallabytes — их комментарии в X положили начало этому направлению 🫡 Статья: https://arxiv.org/abs/2512.10794 Код: https://github.com/End2End-Diffusion/iREPA Страница проекта: https://end2end-diffusion.github.io/irepa Подробнее в треде: [1/n] 🧵
Ключевые моменты
- Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений.
- Благодаря этой новой настройке мы можем яснее увидеть,что на самом деле означают эти представления.
- Jas начал спонтанное исследование,и за последние три месяца мы многому научились.
- Это также наш небольшой эксперимент с новым типом онлайн-«эффекта кулера» — мне нравится это…
- Давайте спорить,обсуждать,а затем превращать это настоящими усилиями в серьёзную науку.
Кратко
- Опубликовано
- Обновлено
- Источник
- X:谢赛宁 (@sainingxie)
- Категория
- Другое
颠覆认知:小20倍视觉编码器也能驱动高质量生成,空间结构才是关键
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений. С этой новой.... 16 декабря 2025. https://new.nat6.net/ru/news/cmnz6dpf402amsl0fxz3kh21f/