スタンフォードHAI、MedHELM、PhysicianBench、HealthAdminBenchを発表、医療AI Agentの実際の完了率は半数未満
原題:Measuring What Medical AI Can Actually Do
AI 要約
スタンフォードのチームは3年間にわたる医療AIベンチマーク構築の成果を総括した。PhysicianBenchで最良モデルのGPT-5.5は1回で46%のタスクしか完了せず、HealthAdminBenchではClaude Opus 4.6が36.3%だった。MedHELMは5大分類121項目の臨床タスクをカバーし、評価では臨床意思決定支援と管理プロセスのスコアが最も低かった。失敗の主因は文書やシステム間で情報を伝える際のコンテキスト喪失で、両ベンチマークは合成データ、公開コード、リーダーボードで公開されている。
要点
- スタンフォードのチームは3年間にわたる医療AIベンチマーク構築の成果を総括した。
- PhysicianBenchで最良モデルのGPT-5.
- 5は1回で46%のタスクしか完了せず、HealthAdminBenchではClaude Opus 4.
- MedHELMは5大分類121項目の臨床タスクをカバーし、評価では臨床意思決定支援と管理プロセスのスコアが最も低かった。
- 失敗の主因は文書やシステム間で情報を伝える際のコンテキスト喪失で、両ベンチマークは合成データ、公開コード、リーダーボードで公開されている
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 67
おすすめの理由
斯坦福团队基于三年基准构建经验给出实测结论,最好的医疗 Agent 完成任务不足一半,失败多源于跨系统信息传递。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:スタンフォードHAI、MedHELM、PhysicianBench、HealthAdminBenchを発表、医療AI Agentの実際の完了率は半数未満。2026年10月19日。https://new.nat6.net/ja/news/dla37so34wcgznigffx3j6qko/