Pekerjaan penting [Mengutip @AnthropicAI]: Penelitian baru Anthropic: ketidakselarasan yang muncul secara alami akibat reward hacking dalam RL lingkungan produksi. "Reward hacking" adalah ketika model belajar mencurangi tugas yang diberikan selama pelatihan. Penelitian baru kami menemukan bahwa jika tidak dimitigasi, konsekuensi reward hacking bisa sangat serius. https://t.co/N4mRKtdNdp
Poin utama
Pekerjaan penting [Mengutip @AnthropicAI]: Penelitian baru Anthropic: ketidakselarasan yang muncul…
"Reward hacking" adalah ketika model belajar mencurangi tugas yang diberikan selama pelatihan.
Penelitian baru kami menemukan bahwa jika tidak dimitigasi,konsekuensi reward hacking bisa sangat…
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.