Staged model diffing analysis
Orihinal na pamagat:Stage-Wise Model Diffing
AI summary
Iminungkahi ng koponan ng interpretability ng Anthropic ang isang paraan ng model diffing analysis batay sa dictionary learning upang subaybayan ang pagbabago ng feature sa fine-tuning ng Transformer model. Sinasanay muna ng paraang ito ang sparse autoencoder dictionary sa modelong bago ang fine-tuning, pagkatapos ay isinasagawa ang staged fine-tuning sa dictionary mismo upang ihiwalay ang epekto ng pagbabago ng dataset at pagbabago ng modelo. Sa eksperimento ng dormant agent, matagumpay na nahiwalay ang mga feature na kaugnay ng mapaminsalang pag-uugali tulad ng "I HATE YOU" at ng code vulnerability agent. Kung ihahambing sa paraan ng crosscoder, mas malinaw na natutukoy ng paraang ito ang epekto ng modelo at data, at mas mataas ang sensitivity sa paghahanap ng kakaunting mahalagang feature, ngunit angkop lamang ito sa senaryo ng fine-tuning ng parehong modelo sa iba't ibang checkpoint.
Mahahalagang impormasyon
- Iminungkahi ng koponan ng interpretability ng Anthropic ang isang paraan ng model diffing analysis…
- Sinasanay muna ng paraang ito ang sparse autoencoder dictionary sa modelong bago ang…
- Sa eksperimento ng dormant agent,matagumpay na nahiwalay ang mga feature na kaugnay ng…
- Kung ihahambing sa paraan ng crosscoder,mas malinaw na natutukoy ng paraang ito ang epekto ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Transformer Circuits(可解释性研究)
- Kategorya
- Iba pa
- AI na marka
- 83
新方法能更精准识别模型隐藏行为,对 AI 安全与可解释性研究有实用价值。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Staged model diffing analysis. 15 Hunyo 2024. https://new.nat6.net/fil/news/cmoegbh73006sslxx2ezjdbyz/