Tutorial & Tips

ARC merilis kemajuan evaluasi kemampuan berbahaya Claude dan GPT-4

Judul asli:Update on ARC's recent eval efforts

Ringkasan AI

ARC sebagai evaluator pihak ketiga bekerja sama dengan laboratorium seperti Anthropic dan OpenAI untuk menguji kemampuan berbahaya model frontier dalam memperoleh sumber daya secara otonom dan menghindari pengawasan manusia di lingkungan terkontrol. Kesimpulannya, versi Claude dan GPT-4 yang diuji tidak mampu menghasilkan rencana replikasi otonom lengkap yang kredibel, mudah membuat kesalahan saat eksekusi, berhalusinasi, sulit membagi tugas antar beberapa salinan, tetapi dapat menyelesaikan sebagian subtugas seperti menjelajahi web, mempekerjakan manusia sebagai perantara, dan menyusun rencana jangka panjang.

Poin utama

  • ARC sebagai evaluator pihak ketiga bekerja sama dengan laboratorium seperti Anthropic dan OpenAI…
  • Kesimpulannya,versi Claude dan GPT-4 yang diuji tidak mampu menghasilkan rencana replikasi otonom…
  • tetapi dapat menyelesaikan sebagian subtugas seperti menjelajahi web,mempekerjakan manusia sebagai…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
METR:Research(网页)
Kategori
Tutorial & Tips
Skor AI
70
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

ARC 公布了危险能力评测的动机、方法与结论,读者可以了解模型自主复制能力的评估方式。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: ARC merilis kemajuan evaluasi kemampuan berbahaya Claude dan GPT-4. 17 Maret 2023. https://new.nat6.net/id/news/cmtyo7nb803vtrog068p1fir1/

Lihat semua →