その他

差分Transformer V2

原題:Differential Transformer V2

AI 要約

差分Transformer V2がリリースされた。中核は改良された差分アテンション機構である。V1と比べ、V2はクエリヘッド数を倍にしつつキーバリューヘッドは変えず、差分操作後に次元を削減することで、デコード時に標準Transformerと同等の速度を実現し、カスタムカーネルも不要とした。新バージョンはまた、V1でアテンション分布の均一化により生じた数値不安定性の問題、特に長系列下でRMSNorm層に必要だった巨大なスケーリング因子を解消し、勾配爆発を回避することで、より安定した大規模事前学習の実現を目指す。

要点

  • 差分Transformer V2がリリースされた。
  • 中核は改良された差分アテンション機構である。
  • V1と比べ、V2はクエリヘッド数を倍にしつつキーバリューヘッドは変えず、差分操作後に次元を削減することで、デコード時に標準Transformerと同等の速度を実現し、カスタムカーネルも不要とした。
  • 新バージョンはまた、V1でアテンション分布の均一化により生じた数値不安定性の問題、特に長系列下でRMSNorm層に必要だった巨大なスケーリング因子を解消し、勾配爆発を回避することで、より安定した大規…

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
その他
AI スコア
83
原文を読む 情報源で全文を読む
おすすめの理由

新注意力架构提升解码效率与训练稳定性,开发者可低成本集成优化模型。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:差分Transformer V2。2026年1月20日。https://new.nat6.net/ja/news/cmoegbhak009uslxxazhwpcva/

すべて見る →
  • Overworld、リアルタイム対話型動画拡散モデルWaypoint-1を発表

    Overworldはリアルタイム対話型動画拡散モデルWaypoint-1を発表した。ユーザーはテキスト、マウス、キーボードでリアルタイムに操作し、歩き回れる仮想世界を生成できる。このモデルはフレーム因果補正フローTransformerアー…

    Hugging Face 社区博客(混合发现)その他AI スコア 73

  • オープンな対応:知っておくべきこと

    OpenAIはオープンソースとオープンサイエンスを通じて人工知能の民主化を進めている。中核目標はAI技術の参入障壁を下げ、より広範な参加とイノベーションを促進することにある。この取り組みは研究の透明化を促し、技術の反復を加速し、AIの未来…

    Hugging Face 社区博客(混合发现)その他AI スコア 80

  • Kimi ベンダーバリデータ

    Kimi は K2.5 モデルのリリース時に、サードパーティ推論実装の正確性を検証するオープンソースの Kimi Vendor Verifier(KVV)を公開した。オープンソースモデルの展開チャネルが多様化し品質管理が難しくなる問題に対…

    Moonshot AI:Kimi Blogその他

  • Agentsを使いこなす

    AI Agentsの能力は重要な臨界点に近づいており、その性能の飛躍は従来の働き方の枠を超えている。これにより従事者は仕事の範囲を再定義し、プロジェクト管理プロセスを再構築し、タスク実行戦略を革新することが求められる。需要計画から納品基準…

    Nathan Lambert:Interconnects(RSS)その他