Mga Papel at Pananaliksik

Pag-aaral ng Apple: Isang neuron lang, kayang laktawan ang safety alignment ng malaking modelo ng wika

Orihinal na pamagat:A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models

AI summary

Natuklasan ng mga mananaliksik ng Apple na ang safety alignment ay kinokontrol ng dalawang uri ng neuron: ang refusal neurons na nagpapasya kung ipapahayag ang mapanganib na kaalaman, at ang concept neurons na nag-e-encode ng mapanganib na kaalaman mismo. Sa pitong modelo (1.7B hanggang 70B parameter), sapat na pigilan ang isang refusal neuron para laktawan ang safety alignment at sagutin ang mapanganib na kahilingan; o palakasin ang isang concept neuron para makabuo ng mapanganib na nilalaman mula sa hindi mapanganib na prompt. Walang pagsasanay o prompt engineering na kailangan sa buong proseso. Ipinapakita ng resulta na ang safety alignment ay causally kontrolado ng indibidwal na neurons.

Mahahalagang impormasyon

  • Natuklasan ng mga mananaliksik ng Apple na ang safety alignment ay kinokontrol ng dalawang uri ng…
  • Sa pitong modelo (1.
  • 7B hanggang 70B parameter),sapat na pigilan ang isang refusal neuron para laktawan ang safety…
  • o palakasin ang isang concept neuron para makabuo ng mapanganib na nilalaman mula sa hindi…
  • Walang pagsasanay o prompt engineering na kailangan sa buong proseso.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Apple Machine Learning Research(RSS)
Kategorya
Mga Papel at Pananaliksik
AI na marka
74
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

苹果发现单个神经元足以绕过大模型安全对齐,在7个模型上验证了攻击,说明安全机制并非稳健分布,做安全攻防的必读。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pag-aaral ng Apple: Isang neuron lang, kayang laktawan ang safety alignment ng malaking modelo ng wika. 7 Hulyo 2026. https://new.nat6.net/fil/news/cmrasd6r300i2ihog8ifwrqs5/

Tingnan lahat →