凍結した大規模言語モデルの隠れ状態に読解可能な行動信号が存在、新技術で精度が大幅向上
原題:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
AI 要約
Proprioceptive AIが開発したCygnus技術は、凍結した大規模言語モデルに自己知覚アダプターを追加することで、内部の認知幾何を読み取れるようにする。この技術はモデルの隠れ状態をgl(4,R)リー代数で定義された数学空間に投影し、主要な精度信号を含む「ダークモード」を分離することで、再トレーニングなしにモデル性能を大幅に向上させる。例えば、RTX 3090グラフィックスカード1枚だけで、Qwen-32BのARC-Challengeベンチマークでの正解率を82.2%から94.97%に引き上げた。アダプターは3Bから405Bまでの複数モデルに対応し、サービスノードは5万人の同時接続ユーザーを支えられ、今週末に公開予定である。関連する設計論文はすでに公開されている。
要点
- Proprioceptive AIが開発したCygnus技術は、凍結した大規模言語モデルに自己知覚アダプターを追加することで、内部の認知幾何を読み取れるようにする。
- この技術はモデルの隠れ状態をgl(4,R)リー代数で定義された数学空間に投影し、主要な精度信号を含む「ダークモード」を分離することで、再トレーニングなしにモデル性能を大幅に向上させる。
- 例えば、RTX 3090グラフィックスカード1枚だけで、Qwen-32BのARC-Challengeベンチマークでの正解率を82.
- 97%に引き上げた。
- アダプターは3Bから405Bまでの複数モデルに対応し、サービスノードは5万人の同時接続ユーザーを支えられ、今週末に公開予定である。
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:凍結した大規模言語モデルの隠れ状態に読解可能な行動信号が存在、新技術で精度が大幅向上。2026年5月8日。https://new.nat6.net/ja/news/cmovw0m8j00s3slcxklzwwqpj/