Kertas penyelidikan

Stanford HAI melancarkan MedHELM, PhysicianBench dan HealthAdminBench, mendapati kadar penyelesaian sebenar Ejen AI perubatan kurang separuh

Tajuk asal:Measuring What Medical AI Can Actually Do

Ringkasan AI

Pasukan Stanford merumuskan hasil tiga tahun membina penanda aras AI perubatan. Pada PhysicianBench, model terbaik GPT-5.5 hanya menyelesaikan 46% tugas dalam satu percubaan, manakala Claude Opus 4.6 menyelesaikan 36.3% pada HealthAdminBench. MedHELM merangkumi 5 kategori besar dan 121 tugas klinikal; penilaian menunjukkan sokongan keputusan klinikal dan proses pengurusan memperoleh skor terendah; kegagalan utama berpunca daripada kehilangan konteks semasa memindahkan maklumat merentas dokumen dan sistem. Kedua-dua penanda aras dibuka dengan data sintetik, kod awam dan papan pendahulu.

Maklumat penting

  • Pasukan Stanford merumuskan hasil tiga tahun membina penanda aras AI perubatan.
  • Pada PhysicianBench,model terbaik GPT-5.
  • 5 hanya menyelesaikan 46% tugas dalam satu percubaan,manakala Claude Opus 4.
  • 6 menyelesaikan 36.
  • 3% pada HealthAdminBench.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Stanford HAI News(网页)
Kategori
Kertas penyelidikan
Skor AI
67
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

斯坦福团队基于三年基准构建经验给出实测结论,最好的医疗 Agent 完成任务不足一半,失败多源于跨系统信息传递。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Stanford HAI melancarkan MedHELM, PhysicianBench dan HealthAdminBench, mendapati kadar penyelesaian sebenar Ejen AI perubatan kurang separuh. 19 Oktober 2026. https://new.nat6.net/ms/news/dla37so34wcgznigffx3j6qko/

Lihat Semua →