Makalah & Riset

OpenAI mewujudkan model bermanfaat yang luas dan tahan lama melalui reinforcement learning

Judul asli:Reinforcement learning towards broadly and persistently beneficial models

Ringkasan AI

OpenAI melatih model melalui reinforcement learning dalam skenario percakapan nyata agar menunjukkan sifat-sifat bermanfaat seperti kejujuran, kerendahan hati epistemik, transparansi metakognitif, dapat dikoreksi, keadilan universal, dan kepedulian terhadap kesejahteraan manusia. Data pelatihan mencakup berbagai bidang seperti kesehatan, pendidikan, sains, hukum, dan teknik. Setelah pelatihan, model menunjukkan peningkatan pada puluhan evaluasi keselarasan independen (termasuk reward hacking, penipuan, saran berbahaya, dan kepatuhan norma), dan peningkatan ini generalisasi ke bidang, tugas, serta pengaturan penilaian yang tidak ikut dilatih. Di bawah prompt atau fine-tuning adversarial, model tetap sulit diarahkan ke perilaku berbahaya, menunjukkan bahwa reinforcement learning sifat bermanfaat dapat menghasilkan generalisasi keselarasan yang luas dan tahan lama.

Poin utama

  • OpenAI melatih model melalui reinforcement learning dalam skenario percakapan nyata agar…
  • Data pelatihan mencakup berbagai bidang seperti kesehatan,pendidikan,sains,hukum,dan teknik.
  • Setelah pelatihan,model menunjukkan peningkatan pada puluhan evaluasi keselarasan independen…
  • Di bawah prompt atau fine-tuning adversarial,model tetap sulit diarahkan ke perilaku…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
OpenAI:Alignment 研究博客(RSS)
Kategori
Makalah & Riset
Skor AI
64
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

OpenAI 这个对齐实验给出了一个反直觉发现,只在健康数据上训练有益行为竟然也能改善非健康领域的对齐,而且更难被攻破,虽然离落地还远但方向很关键。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: OpenAI mewujudkan model bermanfaat yang luas dan tahan lama melalui reinforcement learning. 19 Juni 2026. https://new.nat6.net/id/news/cmqk1gfya0283slhilhufijtu/

Lihat semua →