Другое

Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений. С этой новой...

Оригинальный заголовок:new paper: iREPA diffusion models are a renderer of their underlying representations. with this new...

ИИ-резюме

Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений. Благодаря этой новой настройке мы можем яснее увидеть, что на самом деле означают эти представления. Jas начал спонтанное исследование, и за последние три месяца мы многому научились. P.S. Это также наш небольшой эксперимент с новым типом онлайн-«эффекта кулера» — мне нравится это наблюдать. Давайте спорить, обсуждать, а затем превращать это настоящими усилиями в серьёзную науку. [Цитата @1jaskiratsingh]: ‼️ Представления важны для генерации! Но, как выяснилось, мы всё это время неправильно понимали, как представления помогают генерации ‼️ Наши прежние идеи: (мы ошибались) ❌ Более крупный визуальный энкодер → лучшие представления → лучшая генерация ❌ Лучшая глобальная семантика → лучшие представления → лучшая генерация Оказалось: 🤯 В задаче выравнивания представлений визуальные энкодеры в 20+ раз меньше могут достигать сходной или лучшей производительности, чем более крупные модели 🤯 Визуальные энкодеры с точностью линейного зондирования около 20% (метрика глобальной семантики) могут превосходить энкодеры с точностью >80% 🤯 Даже классические признаки вроде SiFT и HoG дают прирост, сопоставимый с современными гораздо более крупными визуальными энкодерами ‼️ 🚨 Представляем: что важно для выравнивания представлений? Глобальная информация или пространственная структура 🚨 TL;DR: ✅ Лучшая глобальная семантическая информация ≠ лучшая генерация ✅ Пространственная структура (а не глобальная семантика) определяет генерационную производительность представлений ✅ Мы предлагаем iREPA: всего 3 строки кода, акцент на переносе пространственной структуры, стабильно ускоряет сходимость в методах REPA, REPA-E, Meanflow, JiT и др. Захватывающий проект в @AdobeResearch совместно с @xingjian_leng, @zongze_wu, @LiangZheng_06, @rzhang88, @elishechtman и @sainingxie 🙏 Для меня это также особенно интересный и уникальный опыт: на каждом шаге проекта мы опровергали собственные предубеждения 😆 Также огромная благодарность @YouJiacheng, @ShumingHu и @gallabytes — их комментарии в X положили начало этому направлению 🫡 Статья: https://arxiv.org/abs/2512.10794 Код: https://github.com/End2End-Diffusion/iREPA Страница проекта: https://end2end-diffusion.github.io/irepa Подробнее в треде: [1/n] 🧵

Ключевые моменты

  • Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений.
  • Благодаря этой новой настройке мы можем яснее увидеть,что на самом деле означают эти представления.
  • Jas начал спонтанное исследование,и за последние три месяца мы многому научились.
  • Это также наш небольшой эксперимент с новым типом онлайн-«эффекта кулера» — мне нравится это…
  • Давайте спорить,обсуждать,а затем превращать это настоящими усилиями в серьёзную науку.

Кратко

Опубликовано
Обновлено
Источник
X:谢赛宁 (@sainingxie)
Категория
Другое
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

颠覆认知:小20倍视觉编码器也能驱动高质量生成,空间结构才是关键

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Новая статья: диффузионные модели iREPA — это рендерер их лежащих в основе представлений. С этой новой.... 16 декабря 2025. https://new.nat6.net/ru/news/cmnz6dpf402amsl0fxz3kh21f/

Смотреть все →