METR terbitkan RE-Bench: bandingkan keupayaan R&D AI ejen model bahasa dengan pakar manusia
Tajuk asal:Evaluating frontier AI R&D capabilities of language model agents against human experts
Ringkasan AI
METR melancarkan penanda aras RE-Bench, menggunakan 7 persekitaran kejuruteraan penyelidikan ML untuk mengukur prestasi pakar manusia dan ejen model termaju, serta menerbitkan 71 percubaan pakar manusia dan semua transkrip larian Claude 3.5 Sonnet dan o1-preview.
Maklumat penting
- METR melancarkan penanda aras RE-Bench,menggunakan 7 persekitaran kejuruteraan penyelidikan ML…
- serta menerbitkan 71 percubaan pakar manusia dan semua transkrip larian Claude 3.
- 5 Sonnet dan o1-preview.
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- METR:Research(网页)
- Kategori
- Kertas penyelidikan
- Skor AI
- 62
原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
Entiti Berkaitan
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: METR terbitkan RE-Bench: bandingkan keupayaan R&D AI ejen model bahasa dengan pakar manusia. 22 November 2024. https://new.nat6.net/ms/news/cmtyo7nb703vkrog0y9c82c3h/