Tutorials & Tipps

Eingefrorene LLM-Hidden-States enthalten lesbare Verhaltenssignale, neue Technik steigert Genauigkeit deutlich

Originaltitel:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...

KI-Zusammenfassung

Die von Proprioceptive AI entwickelte Cygnus-Technik versieht eingefrorene große Sprachmodelle mit selbstwahrnehmenden Adaptern, sodass sie ihre interne kognitive Geometrie auslesen können. Die Technik projiziert die Hidden States des Modells in einen durch die Lie-Algebra gl(4,R) definierten mathematischen Raum und isoliert „Dunkelmodi“, die das wesentliche Präzisionssignal enthalten, wodurch die Modellleistung ohne erneutes Training deutlich steigt. Mit nur einer RTX 3090 hob sie beispielsweise die Genauigkeit von Qwen-32B auf dem ARC-Challenge-Benchmark von 82,2 % auf 94,97 %. Die Adapter sollen Modelle von 3B bis 405B abdecken; die Dienstknoten sollen 50.000 gleichzeitige Nutzer unterstützen und noch an diesem Wochenende online gehen. Das zugehörige Designpapier ist bereits veröffentlicht.

Kernpunkte

  • Die von Proprioceptive AI entwickelte Cygnus-Technik versieht eingefrorene große Sprachmodelle mit…
  • Die Technik projiziert die Hidden States des Modells in einen durch die Lie-Algebra gl(4,R)…
  • Mit nur einer RTX 3090 hob sie beispielsweise die Genauigkeit von Qwen-32B auf dem…
  • Die Adapter sollen Modelle von 3B bis 405B abdecken
  • die Dienstknoten sollen 50.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
X:Rohan Paul (@rohanpaul_ai)
Kategorie
Tutorials & Tipps
KI-Bewertung
77
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Eingefrorene LLM-Hidden-States enthalten lesbare Verhaltenssignale, neue Technik steigert Genauigkeit deutlich. 8. Mai 2026. https://new.nat6.net/de/news/cmovw0m8j00s3slcxklzwwqpj/

Alle ansehen →