Isyarat tingkah laku masih boleh dibaca dalam keadaan tersembunyi LLM beku, teknologi baharu meningkatkan ketepatan dengan ketara
Tajuk asal:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
Ringkasan AI
Teknologi Cygnus yang dibangunkan oleh Proprioceptive AI menambah penyesuai persepsi kendiri pada model bahasa besar beku, membolehkannya membaca geometri kognitif dalaman. Teknologi ini memproyeksikan keadaan tersembunyi model ke ruang matematik yang ditakrifkan oleh algebra Lie gl(4,R), memisahkan "mod gelap" yang mengandungi isyarat ketepatan utama, seterusnya meningkatkan prestasi model dengan ketara tanpa latihan semula. Contohnya, dengan hanya satu kad grafik RTX 3090, ketepatan Qwen-32B pada penanda aras ARC-Challenge dinaikkan daripada 82.2% kepada 94.97%. Penyesuainya akan meliputi pelbagai model daripada 3B hingga 405B, nod perkhidmatan boleh menyokong 50,000 pengguna serentak, dan dijangka dilancarkan hujung minggu ini. Kertas reka bentuk berkaitan telah diterbitkan.
Maklumat penting
- Teknologi Cygnus yang dibangunkan oleh Proprioceptive AI menambah penyesuai persepsi kendiri pada…
- Teknologi ini memproyeksikan keadaan tersembunyi model ke ruang matematik yang ditakrifkan oleh…
- Contohnya,dengan hanya satu kad grafik RTX 3090,ketepatan Qwen-32B pada penanda aras ARC-Challenge…
- 2% kepada 94.
- Penyesuainya akan meliputi pelbagai model daripada 3B hingga 405B,nod perkhidmatan boleh menyokong…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- X:Rohan Paul (@rohanpaul_ai)
- Kategori
- Tutorial dan petua
- Skor AI
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Isyarat tingkah laku masih boleh dibaca dalam keadaan tersembunyi LLM beku, teknologi baharu meningkatkan ketepatan dengan ketara. 8 Mei 2026. https://new.nat6.net/ms/news/cmovw0m8j00s3slcxklzwwqpj/