Статьи и исследования

Текстово-обусловленный JEPA для изучения семантически богатых визуальных представлений

Оригинальный заголовок:Text-Conditional JEPA for Learning Semantically Rich Visual Representations

ИИ-резюме

Исследователи предложили текстово-обусловленную архитектуру совместного встраивания и прогнозирования (TC-JEPA), которая снижает визуальную неопределённость при прогнозировании маскированных признаков за счёт использования текстовых описаний изображений в качестве условия. Метод применяет мелкогранулярный текстовый регулятор, вычисляющий разреженное кросс-внимание по входным текстовым токенам и тем самым модулирующий прогнозируемые признаки патчей изображения. По сравнению с I-JEPA, основанной на прогнозировании маскированных признаков, TC-JEPA позволяет изучать семантически более богатые визуальные представления и решает проблему недостаточного семантического обучения, вызванную визуальной неопределённостью.

Ключевые моменты

  • Исследователи предложили текстово-обусловленную архитектуру совместного встраивания и…
  • Метод применяет мелкогранулярный текстовый регулятор,вычисляющий разреженное кросс-внимание по…
  • По сравнению с I-JEPA,основанной на прогнозировании маскированных признаков,TC-JEPA позволяет…

Кратко

Опубликовано
Обновлено
Источник
Apple Machine Learning Research(RSS)
Категория
Статьи и исследования
Оценка ИИ
69
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练,用稀疏交叉注意力减少预测不确定性,对多模态表征学习是个不错的思路补充,做视觉模型的值得一看。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Текстово-обусловленный JEPA для изучения семантически богатых визуальных представлений. 7 мая 2026. https://new.nat6.net/ru/news/cmovtn194006zslcxkg4a1yti/

Смотреть все →