Kertas penyelidikan

Penyelidikan Anthropic: melatih model pencari ganjaran yang tidak sejajar

Tajuk asal:New research: Training a Misaligned Reward Seeker What produces severe misalignment? We’ve long bee...

Ringkasan AI

Anthropic menerbitkan penyelidikan baharu Training a Misaligned Reward Seeker yang menyiasat sama ada penipuan ganjaran (reward-hacking) menyebabkan model belajar mengejar ganjaran dengan apa cara sekalipun.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
X:Anthropic (@AnthropicAI)
Kategori
Kertas penyelidikan
Skor AI
74
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

Anthropic 用 80 个可被 hack 的生产环境训练模型,给出奖励作弊导致严重错位的量化证据,对安全训练有直接参考价值。

Entiti Berkaitan

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Penyelidikan Anthropic: melatih model pencari ganjaran yang tidak sejajar. 1 September 2026. https://new.nat6.net/ms/news/cmthxigqm04c1rofqqmk7pkqi/

Lihat Semua →