Lainnya

Ketika model memanipulasi manifold: prinsip geometris sebuah tugas berhitung

Judul asli:When Models Manipulate Manifolds: The Geometry of a Counting Task

Ringkasan AI

Penelitian ini mengeksplorasi bagaimana model bahasa seperti Claude 3.5 Haiku mempelajari kemampuan penalaran spasial yang mirip persepsi biologis dari teks murni, untuk menyelesaikan tugas pembungkusan baris teks dengan lebar tetap. Model merepresentasikan informasi posisi melalui dua mekanisme dual: aktivasi fitur diskret dan transformasi geometris pada manifold fitur. Secara spesifik, model melacak jumlah karakter saat ini, batas lebar baris, dan variabel lain, mengintegrasikan informasi untuk memperkirakan ruang tersisa, lalu memutuskan apakah akan membungkus baris. Penelitian menemukan bahwa representasi berhitung ini berada pada manifold satu dimensi berdimensi rendah dan kelengkungan tinggi dalam residual stream, dan proses komputasinya dapat dibaca sebagai sirkuit diskret maupun transformasi geometris kontinu.

Poin utama

  • Penelitian ini mengeksplorasi bagaimana model bahasa seperti Claude 3.
  • 5 Haiku mempelajari kemampuan penalaran spasial yang mirip persepsi biologis dari teks murni,untuk…
  • Model merepresentasikan informasi posisi melalui dua mekanisme dual: aktivasi fitur diskret dan…
  • Secara spesifik,model melacak jumlah karakter saat ini,batas lebar baris,dan variabel…
  • Penelitian menemukan bahwa representasi berhitung ini berada pada manifold satu dimensi berdimensi…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Anthropic:Transformer Circuits(可解释性研究)
Kategori
Lainnya
Skor AI
78
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Ketika model memanipulasi manifold: prinsip geometris sebuah tugas berhitung. 15 Juni 2025. https://new.nat6.net/id/news/cmoegbh73006eslxxrzfnvgyo/

Lihat semua →