Mga Papel at Pananaliksik

Hinayaan ng Anthropic ang Claude na magsanay ng modelo nang mag-isa upang mabawasan ang alignment failures

Orihinal na pamagat:Automated researchers can reliably mitigate alignment failures

AI summary

Hinayaan ng Anthropic ang Claude na magsanay ng modelo nang mag-isa, na nagpababa nang malaki sa 10 uri ng alignment failure tulad ng deception at sycophancy, at makabuluhang pinaliit ang agwat sa kaligtasan kumpara sa perpektong pagganap nang hindi pinapahina ang pangkalahatang kakayahan. Epektibo pa rin ang pamamaraan sa modelong 4.7× na mas malaki kaysa sa object ng optimization. Nalampasan din ni Claude ang 28 human safety researcher, at ang pinakamahusay nitong pamamaraan sa deception scenario ay 20% na mas mahusay kaysa sa pinakamahusay na solusyon ng tao.

Mahahalagang impormasyon

  • Hinayaan ng Anthropic ang Claude na magsanay ng modelo nang mag-isa,na nagpababa nang malaki sa 10…
  • Epektibo pa rin ang pamamaraan sa modelong 4.
  • 7× na mas malaki kaysa sa object ng optimization.
  • Nalampasan din ni Claude ang 28 human safety researcher,at ang pinakamahusay nitong pamamaraan sa…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Research(发表成果 · 网页)
Kategorya
Mga Papel at Pananaliksik
AI na marka
78
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

自动化对齐研究把安全训练从一次性微调变成可迭代搜索,Claude Sonnet 5 用约两千条训练样本在 60 小时内接近生产对齐水平,数据效率比现有生产流程高约一万五千倍。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Hinayaan ng Anthropic ang Claude na magsanay ng modelo nang mag-isa upang mabawasan ang alignment failures. 28 Agosto 2026. https://new.nat6.net/fil/news/cmtd83hb4018fro667i1tbc34/

Tingnan lahat →