Makalah & Riset

JEPA terkondisi teks untuk mempelajari representasi visual yang kaya semantik

Judul asli:Text-Conditional JEPA for Learning Semantically Rich Visual Representations

Ringkasan AI

Peneliti mengusulkan arsitektur prediksi embedding bersama terkondisi teks (TC-JEPA), yang memperkenalkan teks deskripsi gambar sebagai informasi kondisi untuk mengurangi ketidakpastian visual dalam prediksi fitur termask. Metode ini menggunakan pengatur teks berbutir halus yang menghitung cross-attention jarang terhadap token teks masukan, sehingga memodulasi fitur patch gambar yang diprediksi. Dibandingkan I-JEPA berbasis prediksi fitur termask, TC-JEPA mampu mempelajari representasi visual yang lebih kaya semantik, mengatasi kurangnya pembelajaran semantik pada metode sebelumnya akibat ketidakpastian visual.

Poin utama

  • Peneliti mengusulkan arsitektur prediksi embedding bersama terkondisi teks (TC-JEPA),yang…
  • Metode ini menggunakan pengatur teks berbutir halus yang menghitung cross-attention jarang…
  • Dibandingkan I-JEPA berbasis prediksi fitur termask,TC-JEPA mampu mempelajari representasi visual…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Apple Machine Learning Research(RSS)
Kategori
Makalah & Riset
Skor AI
69
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练,用稀疏交叉注意力减少预测不确定性,对多模态表征学习是个不错的思路补充,做视觉模型的值得一看。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: JEPA terkondisi teks untuk mempelajari representasi visual yang kaya semantik. 7 Mei 2026. https://new.nat6.net/id/news/cmovtn194006zslcxkg4a1yti/

Lihat semua →