Sinyal perilaku tetap terbaca di hidden state LLM yang dibekukan, teknologi baru tingkatkan akurasi secara signifikan
Judul asli:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
Ringkasan AI
Teknologi Cygnus yang dikembangkan Proprioceptive AI menambahkan adaptor kesadaran diri pada model bahasa besar yang dibekukan sehingga mampu membaca geometri kognitif internal. Teknologi ini memproyeksikan hidden state model ke ruang matematis yang didefinisikan oleh aljabar Lie gl(4,R), memisahkan "mode gelap" yang mengandung sinyal akurasi utama, sehingga performa model meningkat signifikan tanpa pelatihan ulang. Misalnya, hanya dengan satu kartu grafis RTX 3090, akurasi Qwen-32B pada benchmark ARC-Challenge naik dari 82,2% menjadi 94,97%. Adaptornya akan mencakup berbagai model dari 3B hingga 405B, dengan node layanan yang dapat mendukung 50.000 pengguna bersamaan, diperkirakan diluncurkan akhir pekan ini. Makalah desain terkait telah dipublikasikan.
Poin utama
- Teknologi Cygnus yang dikembangkan Proprioceptive AI menambahkan adaptor kesadaran diri pada model…
- Teknologi ini memproyeksikan hidden state model ke ruang matematis yang didefinisikan oleh aljabar…
- Misalnya,hanya dengan satu kartu grafis RTX 3090,akurasi Qwen-32B pada benchmark ARC-Challenge…
- Adaptornya akan mencakup berbagai model dari 3B hingga 405B,dengan node layanan yang dapat…
- 000 pengguna bersamaan,diperkirakan diluncurkan akhir pekan ini.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- X:Rohan Paul (@rohanpaul_ai)
- Kategori
- Tutorial & Tips
- Skor AI
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Sinyal perilaku tetap terbaca di hidden state LLM yang dibekukan, teknologi baru tingkatkan akurasi secara signifikan. 8 Mei 2026. https://new.nat6.net/id/news/cmovw0m8j00s3slcxklzwwqpj/