Kertas penyelidikan

METR terbitkan RE-Bench: bandingkan keupayaan R&D AI ejen model bahasa dengan pakar manusia

Tajuk asal:Evaluating frontier AI R&D capabilities of language model agents against human experts

Ringkasan AI

METR melancarkan penanda aras RE-Bench, menggunakan 7 persekitaran kejuruteraan penyelidikan ML untuk mengukur prestasi pakar manusia dan ejen model termaju, serta menerbitkan 71 percubaan pakar manusia dan semua transkrip larian Claude 3.5 Sonnet dan o1-preview.

Maklumat penting

  • METR melancarkan penanda aras RE-Bench,menggunakan 7 persekitaran kejuruteraan penyelidikan ML…
  • serta menerbitkan 71 percubaan pakar manusia dan semua transkrip larian Claude 3.
  • 5 Sonnet dan o1-preview.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
METR:Research(网页)
Kategori
Kertas penyelidikan
Skor AI
62
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: METR terbitkan RE-Bench: bandingkan keupayaan R&D AI ejen model bahasa dengan pakar manusia. 22 November 2024. https://new.nat6.net/ms/news/cmtyo7nb703vkrog0y9c82c3h/

Lihat Semua →