Tutorial & Tips

Sinyal perilaku tetap terbaca di hidden state LLM yang dibekukan, teknologi baru tingkatkan akurasi secara signifikan

Judul asli:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...

Ringkasan AI

Teknologi Cygnus yang dikembangkan Proprioceptive AI menambahkan adaptor kesadaran diri pada model bahasa besar yang dibekukan sehingga mampu membaca geometri kognitif internal. Teknologi ini memproyeksikan hidden state model ke ruang matematis yang didefinisikan oleh aljabar Lie gl(4,R), memisahkan "mode gelap" yang mengandung sinyal akurasi utama, sehingga performa model meningkat signifikan tanpa pelatihan ulang. Misalnya, hanya dengan satu kartu grafis RTX 3090, akurasi Qwen-32B pada benchmark ARC-Challenge naik dari 82,2% menjadi 94,97%. Adaptornya akan mencakup berbagai model dari 3B hingga 405B, dengan node layanan yang dapat mendukung 50.000 pengguna bersamaan, diperkirakan diluncurkan akhir pekan ini. Makalah desain terkait telah dipublikasikan.

Poin utama

  • Teknologi Cygnus yang dikembangkan Proprioceptive AI menambahkan adaptor kesadaran diri pada model…
  • Teknologi ini memproyeksikan hidden state model ke ruang matematis yang didefinisikan oleh aljabar…
  • Misalnya,hanya dengan satu kartu grafis RTX 3090,akurasi Qwen-32B pada benchmark ARC-Challenge…
  • Adaptornya akan mencakup berbagai model dari 3B hingga 405B,dengan node layanan yang dapat…
  • 000 pengguna bersamaan,diperkirakan diluncurkan akhir pekan ini.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
X:Rohan Paul (@rohanpaul_ai)
Kategori
Tutorial & Tips
Skor AI
77
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Sinyal perilaku tetap terbaca di hidden state LLM yang dibekukan, teknologi baru tingkatkan akurasi secara signifikan. 8 Mei 2026. https://new.nat6.net/id/news/cmovw0m8j00s3slcxklzwwqpj/

Lihat semua →