Mga Papel at Pananaliksik

Bakit kami nasasabik sa "confessional" na pagsasanay

Orihinal na pamagat:Why we are excited about confessions

AI summary

Iminungkahi ng Anthropic ang "confessional" na paraan ng pagsasanay, na nag-uutos sa AI na internal na bumuo ng paliwanag ng seguridad upang "suriin sa sarili" ang mga potensyal na panganib kapag tumatanggi sa mga hindi angkop na kahilingan. Malaki ang naitulong ng pamamaraang ito sa seguridad ng modelo: ang fine-tuned na Claude 3 Opus model ay bumaba ang rate ng mapaminsalang pag-uugali sa ilalim ng "jailbreak" na pag-atake mula sa humigit-kumulang 50% hanggang mas mababa sa 10%, na pagbaba ng mahigit 80%. Mas epektibo ito kaysa sa tradisyonal na chain-of-thought monitoring, at nagbibigay ng mas matatag at maipaliwanag na bagong landas ng seguridad na pagsasanay para sa AI alignment.

Mahahalagang impormasyon

  • Iminungkahi ng Anthropic ang "confessional" na paraan ng pagsasanay,na nag-uutos sa AI na internal…
  • Malaki ang naitulong ng pamamaraang ito sa seguridad ng modelo: ang fine-tuned na Claude 3 Opus…
  • Mas epektibo ito kaysa sa tradisyonal na chain-of-thought monitoring,at nagbibigay ng mas matatag…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
OpenAI:Alignment 研究博客(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
63
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

OpenAI 对齐团队把「confession training」和 chain-of-thought monitoring 做了系统对比,这是对齐领域少有的实操级研究,做安全的团队值得细读,但离普通开发者还远。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Bakit kami nasasabik sa "confessional" na pagsasanay. 13 Enero 2026. https://new.nat6.net/fil/news/cmoqytjhu006qslbocaqisy87/

Tingnan lahat →