Lain-lain

Apabila model memanipulasi manifold: prinsip geometri tugas pengiraan

Tajuk asal:When Models Manipulate Manifolds: The Geometry of a Counting Task

Ringkasan AI

Kajian ini meneliti bagaimana model bahasa seperti Claude 3.5 Haiku mempelajari keupayaan penaakulan spatial serupa persepsi biologi daripada teks semata-mata untuk menyelesaikan tugas pembalutan automatik teks lebar tetap. Model mewakili maklumat kedudukan melalui dua mekanisme dwi: pengaktifan ciri diskret dan transformasi geometri pada manifold ciri. Secara khusus, ia menjejaki pemboleh ubah seperti bilangan aksara baris semasa dan had lebar baris, menyepadukan maklumat untuk menganggar ruang berbaki, seterusnya memutuskan sama ada untuk membalut baris. Kajian mendapati representasi pengiraan ini wujud pada manifold satu dimensi berdimensi rendah dan kelengkungan tinggi dalam aliran residual; proses pengiraannya boleh ditafsirkan sama ada sebagai litar diskret atau transformasi geometri berterusan.

Maklumat penting

  • Kajian ini meneliti bagaimana model bahasa seperti Claude 3.
  • 5 Haiku mempelajari keupayaan penaakulan spatial serupa persepsi biologi daripada teks semata-mata…
  • Model mewakili maklumat kedudukan melalui dua mekanisme dwi: pengaktifan ciri diskret dan…
  • Secara khusus,ia menjejaki pemboleh ubah seperti bilangan aksara baris semasa dan had lebar…
  • Kajian mendapati representasi pengiraan ini wujud pada manifold satu dimensi berdimensi rendah dan…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Anthropic:Transformer Circuits(可解释性研究)
Kategori
Lain-lain
Skor AI
78
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Apabila model memanipulasi manifold: prinsip geometri tugas pengiraan. 15 Jun 2025. https://new.nat6.net/ms/news/cmoegbh73006eslxxrzfnvgyo/

Lihat Semua →