その他

Circuits アップデート — 2025年9月

原題:Circuits Updates — September 2025

AI 要約

Anthropic解釈可能性チームは月次更新で大規模言語モデルの言語間表現に関する新発見を共有した。研究によると、モデルの言語間特徴類似性(交並比IoUで測定)はテキストサンプル長の増加とともに上昇する。英仏二言語段落の初文と末文を比較すると、末文のIoUは初文より顕著に高く、無関係テキストでは初文間の重複度が末文より高いことが分かった。これはモデルがより長い文脈で豊かな言語間理解を構築でき、虚偽活性化に支配されないことを示す。関連発見は、モデルが文脈蓄積とともに意味表現を深化させるという見方を支持する。

要点

  • Anthropic解釈可能性チームは月次更新で大規模言語モデルの言語間表現に関する新発見を共有した。
  • 研究によると、モデルの言語間特徴類似性(交並比IoUで測定)はテキストサンプル長の増加とともに上昇する。
  • 英仏二言語段落の初文と末文を比較すると、末文のIoUは初文より顕著に高く、無関係テキストでは初文間の重複度が末文より高いことが分かった。
  • これはモデルがより長い文脈で豊かな言語間理解を構築でき、虚偽活性化に支配されないことを示す。
  • 関連発見は、モデルが文脈蓄積とともに意味表現を深化させるという見方を支持する

概要

公開日時
更新日時
出典
Anthropic:Transformer Circuits(可解释性研究)
カテゴリ
その他
AI スコア
73
原文を読む 情報源で全文を読む
おすすめの理由

揭示语言模型随上下文深化理解的机制,助力可解释性研究进展。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Circuits アップデート — 2025年9月。2025年9月15日。https://new.nat6.net/ja/news/cmoegbh73006fslxxt136v8n1/

すべて見る →
  • Jakub と Szymon

    OpenAI 幹部は首席科学者 Jakub Pachocki 氏と Szymon Sidor 氏に公開感謝の意を示した。両氏は何度も手を組み、不可能とされた技術課題を攻克し、Dota RL のスケーリング、GPT-4 の事前トレーニング、…

    Sam Altman:Blog(RSS)その他

  • 大衆の知能

    GPT-5からnano bananaまで、強力な人工知能技術が普及しつつある。最先端の大規模言語モデルであれ軽量なアプリケーションであれ、一般ユーザーが先進的なAI能力を手軽に利用できるようになり、技術の民主化が加速している。知能の時代が…

    Ethan Mollick:One Useful Thing(RSS)その他