その他

現在のフロンティアモデルにおける視覚理解の幻影

原題:The mirage of visual understanding in current frontier models

AI 要約

現在のフロンティアのマルチモーダル大規模言語モデルは、標準的な胸部X線の質問応答ベンチマークテストにおいて、画像に一切アクセスせずにトップランクを獲得できる。この異常な現象はモデルの視覚理解能力の深刻な欠陥を露呈し、その性能が実際の画像解析能力ではなくデータバイアスやテキストの手がかりに依存している可能性を示している。研究は既存の視覚言語モデル評価体系の深層的な欠陥を明らかにし、いわゆる「視覚理解」が真の知覚能力を欠いた幻覚にすぎない可能性を指摘した。

要点

  • 現在のフロンティアのマルチモーダル大規模言語モデルは、標準的な胸部X線の質問応答ベンチマークテストにおいて、画像に一切アクセスせずにトップランクを獲得できる。
  • この異常な現象はモデルの視覚理解能力の深刻な欠陥を露呈し、その性能が実際の画像解析能力ではなくデータバイアスやテキストの手がかりに依存している可能性を示している。
  • 研究は既存の視覚言語モデル評価体系の深層的な欠陥を明らかにし、いわゆる「視覚理解」が真の知覚能力を欠いた幻覚にすぎない可能性を指摘した

概要

公開日時
更新日時
出典
Gary Marcus:The Road to AI We Can Trust(RSS)
カテゴリ
その他
原文を読む 情報源で全文を読む
おすすめの理由

揭示多模态基准测试漏洞,医学AI应用需警惕数据泄露风险

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:現在のフロンティアモデルにおける視覚理解の幻影。2026年3月29日。https://new.nat6.net/ja/news/cmnxjn4xh003ssl9of059x3ap/

すべて見る →
  • LLM の双方向論証:主張の完成から完全な覆りまで

    投稿者はまず LLM を使い数時間かけてブログの論点を入念に完成させ、その後反対の立場を論証するよう求めたところ、元の主張は完全に覆された。これは LLM が強力な双方向論証能力を持ち、ほとんどあらゆる立場を説得力をもって支持できることを…

    X:Andrej Karpathy (@karpathy)その他

  • 人間は24時間でルールから3000 Eloのチェスエンジンを構築可能

    著者は「Glurg」ゲーム(実体はchess)という仮想状況を用いて次のように論証する。既存の外部認知インフラ(コンピュータ、インターネットなど)を活用すれば、人間のトップチームは24時間以内にルール解析から3000 Eloのエンジンを開…

    X:Francois Chollet (@fchollet)その他

  • Codex use cases:人間向けのSkills

    OpenAIはCodex use casesのサンプル集を公開し、プログラミングおよび非プログラミングタスクの実用的なシナリオを網羅した。ユーザーはCodexアプリ内で各ユースケースのstarter promptを直接開いて利用を開始でき…

    X:Greg Brockman (@gdb)その他

  • 実際に仕事をする音声エージェントを構築

    gpt-realtime-1.5でシンガポールのクリニック向け受付デモを構築し、患者との自然な対話、診療情報の自動収集、リアルタイム予約を実現。音声エージェントの実務シーンでの能力を示した。

    X:OpenAI Developers (@OpenAIDevs)その他

  • Google、Javaエージェント開発キット(ADK)1.0.0をリリース

    GoogleはJava版エージェント開発キット(ADK)の1.0.0バージョンを正式リリースした。このバージョンでは、Google Mapsデータへの接続サポート、組み込みURL取得ツール、フレームワーク間連携のための標準化されたAgen…

    Google Developers Blog(RSS)その他AI スコア 81