Ketika model memanipulasi manifold: prinsip geometris sebuah tugas berhitung
Judul asli:When Models Manipulate Manifolds: The Geometry of a Counting Task
Ringkasan AI
Penelitian ini mengeksplorasi bagaimana model bahasa seperti Claude 3.5 Haiku mempelajari kemampuan penalaran spasial yang mirip persepsi biologis dari teks murni, untuk menyelesaikan tugas pembungkusan baris teks dengan lebar tetap. Model merepresentasikan informasi posisi melalui dua mekanisme dual: aktivasi fitur diskret dan transformasi geometris pada manifold fitur. Secara spesifik, model melacak jumlah karakter saat ini, batas lebar baris, dan variabel lain, mengintegrasikan informasi untuk memperkirakan ruang tersisa, lalu memutuskan apakah akan membungkus baris. Penelitian menemukan bahwa representasi berhitung ini berada pada manifold satu dimensi berdimensi rendah dan kelengkungan tinggi dalam residual stream, dan proses komputasinya dapat dibaca sebagai sirkuit diskret maupun transformasi geometris kontinu.
Poin utama
- Penelitian ini mengeksplorasi bagaimana model bahasa seperti Claude 3.
- 5 Haiku mempelajari kemampuan penalaran spasial yang mirip persepsi biologis dari teks murni,untuk…
- Model merepresentasikan informasi posisi melalui dua mekanisme dual: aktivasi fitur diskret dan…
- Secara spesifik,model melacak jumlah karakter saat ini,batas lebar baris,dan variabel…
- Penelitian menemukan bahwa representasi berhitung ini berada pada manifold satu dimensi berdimensi…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Lainnya
- Skor AI
- 78
模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Ketika model memanipulasi manifold: prinsip geometris sebuah tugas berhitung. 15 Juni 2025. https://new.nat6.net/id/news/cmoegbh73006eslxxrzfnvgyo/