Kertas penyelidikan

JEPA berkeadaan teks untuk mempelajari representasi visual kaya semantik

Tajuk asal:Text-Conditional JEPA for Learning Semantically Rich Visual Representations

Ringkasan AI

Penyelidik mencadangkan seni bina ramalan pembenaman bersama berkeadaan teks (TC-JEPA), yang memperkenalkan teks kapsyen imej sebagai maklumat keadaan untuk mengurangkan ketidakpastian visual dalam ramalan ciri bertopeng. Kaedah ini menggunakan pengawal selia teks berbutir halus yang mengira perhatian silang jarang terhadap token teks input, seterusnya memodulasi ciri tampalan imej yang diramalkan. Berbanding I-JEPA berasaskan ramalan ciri bertopeng, TC-JEPA dapat mempelajari representasi visual yang lebih kaya semantik, menyelesaikan masalah pembelajaran semantik tidak mencukupi dalam kaedah asal akibat ketidakpastian visual.

Maklumat penting

  • Penyelidik mencadangkan seni bina ramalan pembenaman bersama berkeadaan teks (TC-JEPA),yang…
  • Kaedah ini menggunakan pengawal selia teks berbutir halus yang mengira perhatian silang jarang…
  • Berbanding I-JEPA berasaskan ramalan ciri bertopeng,TC-JEPA dapat mempelajari representasi visual…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Apple Machine Learning Research(RSS)
Kategori
Kertas penyelidikan
Skor AI
69
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练,用稀疏交叉注意力减少预测不确定性,对多模态表征学习是个不错的思路补充,做视觉模型的值得一看。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: JEPA berkeadaan teks untuk mempelajari representasi visual kaya semantik. 7 Mei 2026. https://new.nat6.net/ms/news/cmovtn194006zslcxkg4a1yti/

Lihat Semua →