Eingefrorene LLM-Hidden-States enthalten lesbare Verhaltenssignale, neue Technik steigert Genauigkeit deutlich
Originaltitel:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
KI-Zusammenfassung
Die von Proprioceptive AI entwickelte Cygnus-Technik versieht eingefrorene große Sprachmodelle mit selbstwahrnehmenden Adaptern, sodass sie ihre interne kognitive Geometrie auslesen können. Die Technik projiziert die Hidden States des Modells in einen durch die Lie-Algebra gl(4,R) definierten mathematischen Raum und isoliert „Dunkelmodi“, die das wesentliche Präzisionssignal enthalten, wodurch die Modellleistung ohne erneutes Training deutlich steigt. Mit nur einer RTX 3090 hob sie beispielsweise die Genauigkeit von Qwen-32B auf dem ARC-Challenge-Benchmark von 82,2 % auf 94,97 %. Die Adapter sollen Modelle von 3B bis 405B abdecken; die Dienstknoten sollen 50.000 gleichzeitige Nutzer unterstützen und noch an diesem Wochenende online gehen. Das zugehörige Designpapier ist bereits veröffentlicht.
Kernpunkte
- Die von Proprioceptive AI entwickelte Cygnus-Technik versieht eingefrorene große Sprachmodelle mit…
- Die Technik projiziert die Hidden States des Modells in einen durch die Lie-Algebra gl(4,R)…
- Mit nur einer RTX 3090 hob sie beispielsweise die Genauigkeit von Qwen-32B auf dem…
- Die Adapter sollen Modelle von 3B bis 405B abdecken
- die Dienstknoten sollen 50.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- X:Rohan Paul (@rohanpaul_ai)
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Eingefrorene LLM-Hidden-States enthalten lesbare Verhaltenssignale, neue Technik steigert Genauigkeit deutlich. 8. Mai 2026. https://new.nat6.net/de/news/cmovw0m8j00s3slcxklzwwqpj/