Pag-aaral ng Apple: Isang neuron lang, kayang laktawan ang safety alignment ng malaking modelo ng wika
Orihinal na pamagat:A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models
AI summary
Natuklasan ng mga mananaliksik ng Apple na ang safety alignment ay kinokontrol ng dalawang uri ng neuron: ang refusal neurons na nagpapasya kung ipapahayag ang mapanganib na kaalaman, at ang concept neurons na nag-e-encode ng mapanganib na kaalaman mismo. Sa pitong modelo (1.7B hanggang 70B parameter), sapat na pigilan ang isang refusal neuron para laktawan ang safety alignment at sagutin ang mapanganib na kahilingan; o palakasin ang isang concept neuron para makabuo ng mapanganib na nilalaman mula sa hindi mapanganib na prompt. Walang pagsasanay o prompt engineering na kailangan sa buong proseso. Ipinapakita ng resulta na ang safety alignment ay causally kontrolado ng indibidwal na neurons.
Mahahalagang impormasyon
- Natuklasan ng mga mananaliksik ng Apple na ang safety alignment ay kinokontrol ng dalawang uri ng…
- Sa pitong modelo (1.
- 7B hanggang 70B parameter),sapat na pigilan ang isang refusal neuron para laktawan ang safety…
- o palakasin ang isang concept neuron para makabuo ng mapanganib na nilalaman mula sa hindi…
- Walang pagsasanay o prompt engineering na kailangan sa buong proseso.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Apple Machine Learning Research(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 74
苹果发现单个神经元足以绕过大模型安全对齐,在7个模型上验证了攻击,说明安全机制并非稳健分布,做安全攻防的必读。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pag-aaral ng Apple: Isang neuron lang, kayang laktawan ang safety alignment ng malaking modelo ng wika. 7 Hulyo 2026. https://new.nat6.net/fil/news/cmrasd6r300i2ihog8ifwrqs5/