JEPA condicionado por texto para aprender representaciones visuales semánticamente ricas
Título original:Text-Conditional JEPA for Learning Semantically Rich Visual Representations
Resumen de IA
Los investigadores proponen la arquitectura de predicción conjunta con incrustaciones condicionada por texto (TC-JEPA), que introduce descripciones textuales de imágenes como información de condición para reducir la incertidumbre visual en la predicción de características enmascaradas. El método emplea un modulador de texto de grano fino que calcula atención cruzada dispersa sobre los tokens de texto de entrada para modular las características de los parches de imagen predichos. En comparación con I-JEPA, basado en la predicción de características enmascaradas, TC-JEPA aprende representaciones visuales semánticamente más ricas y resuelve la insuficiencia de aprendizaje semántico del método original causada por la incertidumbre visual.
Puntos clave
- Los investigadores proponen la arquitectura de predicción conjunta con incrustaciones condicionada…
- El método emplea un modulador de texto de grano fino que calcula atención cruzada dispersa sobre…
- En comparación con I-JEPA,basado en la predicción de características enmascaradas,TC-JEPA aprende…
Resumen rápido
- Publicado
- Actualizado
- Categoría
- Artículos e investigación
- Puntuación IA
- 69
Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练,用稀疏交叉注意力减少预测不确定性,对多模态表征学习是个不错的思路补充,做视觉模型的值得一看。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: JEPA condicionado por texto para aprender representaciones visuales semánticamente ricas. 7. mayo 2026. https://new.nat6.net/es/news/cmovtn194006zslcxkg4a1yti/