チュートリアル

凍結した大規模言語モデルの隠れ状態に読解可能な行動信号が存在、新技術で精度が大幅向上

原題:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...

AI 要約

Proprioceptive AIが開発したCygnus技術は、凍結した大規模言語モデルに自己知覚アダプターを追加することで、内部の認知幾何を読み取れるようにする。この技術はモデルの隠れ状態をgl(4,R)リー代数で定義された数学空間に投影し、主要な精度信号を含む「ダークモード」を分離することで、再トレーニングなしにモデル性能を大幅に向上させる。例えば、RTX 3090グラフィックスカード1枚だけで、Qwen-32BのARC-Challengeベンチマークでの正解率を82.2%から94.97%に引き上げた。アダプターは3Bから405Bまでの複数モデルに対応し、サービスノードは5万人の同時接続ユーザーを支えられ、今週末に公開予定である。関連する設計論文はすでに公開されている。

要点

  • Proprioceptive AIが開発したCygnus技術は、凍結した大規模言語モデルに自己知覚アダプターを追加することで、内部の認知幾何を読み取れるようにする。
  • この技術はモデルの隠れ状態をgl(4,R)リー代数で定義された数学空間に投影し、主要な精度信号を含む「ダークモード」を分離することで、再トレーニングなしにモデル性能を大幅に向上させる。
  • 例えば、RTX 3090グラフィックスカード1枚だけで、Qwen-32BのARC-Challengeベンチマークでの正解率を82.
  • 97%に引き上げた。
  • アダプターは3Bから405Bまでの複数モデルに対応し、サービスノードは5万人の同時接続ユーザーを支えられ、今週末に公開予定である。

概要

公開日時
更新日時
出典
X:Rohan Paul (@rohanpaul_ai)
カテゴリ
チュートリアル
AI スコア
77
原文を読む 情報源で全文を読む
おすすめの理由

用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:凍結した大規模言語モデルの隠れ状態に読解可能な行動信号が存在、新技術で精度が大幅向上。2026年5月8日。https://new.nat6.net/ja/news/cmovw0m8j00s3slcxklzwwqpj/

すべて見る →
  • Agent pull requestsはどこにでも:そのレビュー方法

    このガイドは、AIエージェントが生成したpull requestをレビューする実用的な方法を提供する。レビュー時に注目すべきコード変更点、問題が潜みやすい箇所(論理エラーやセキュリティ脆弱性など)、コードマージ前に技術的負債を捕捉する方法…

    GitHub BlogチュートリアルAI スコア 79

  • GitHub Agentic Workflowsのトークン使用効率を向上

    GitHubは、各プルリクエストで実行されるエージェントワークフローが高いAPIコストを蓄積することを発見した。チームは自社の本番ワークフローを監視して非効率な箇所を特定し、最適化のための専用エージェントを構築した。この取り組みは、大規模…

    GitHub BlogチュートリアルAI スコア 72

  • GitHub Repo Stats

    作者は「GitHub Repo Stats」というオンラインツールを開発した。GitHubのモバイルサイトでリポジトリのコミット数が表示されない問題を解決するためのものだ。ユーザーがGitHubリポジトリのURLまたは「foo/bar」形…

    Simon Willison 博客チュートリアルAI スコア 78

  • GPTリアルタイムモデルのプロンプトガイドを公開

    GPT-Realtime-2で音声アプリを構築していますか? 新しいプロンプトガイドでは、推論強度の調整方法、前置き説明の使用、ツール動作の設計、不明瞭な音声の処理、エンティティの正確な捕捉、長いセッションでの状態維持について解説していま…

    X:OpenAI Developers (@OpenAIDevs)チュートリアルAI スコア 76