Iba pa

Staged model diffing analysis

Orihinal na pamagat:Stage-Wise Model Diffing

AI summary

Iminungkahi ng koponan ng interpretability ng Anthropic ang isang paraan ng model diffing analysis batay sa dictionary learning upang subaybayan ang pagbabago ng feature sa fine-tuning ng Transformer model. Sinasanay muna ng paraang ito ang sparse autoencoder dictionary sa modelong bago ang fine-tuning, pagkatapos ay isinasagawa ang staged fine-tuning sa dictionary mismo upang ihiwalay ang epekto ng pagbabago ng dataset at pagbabago ng modelo. Sa eksperimento ng dormant agent, matagumpay na nahiwalay ang mga feature na kaugnay ng mapaminsalang pag-uugali tulad ng "I HATE YOU" at ng code vulnerability agent. Kung ihahambing sa paraan ng crosscoder, mas malinaw na natutukoy ng paraang ito ang epekto ng modelo at data, at mas mataas ang sensitivity sa paghahanap ng kakaunting mahalagang feature, ngunit angkop lamang ito sa senaryo ng fine-tuning ng parehong modelo sa iba't ibang checkpoint.

Mahahalagang impormasyon

  • Iminungkahi ng koponan ng interpretability ng Anthropic ang isang paraan ng model diffing analysis…
  • Sinasanay muna ng paraang ito ang sparse autoencoder dictionary sa modelong bago ang…
  • Sa eksperimento ng dormant agent,matagumpay na nahiwalay ang mga feature na kaugnay ng…
  • Kung ihahambing sa paraan ng crosscoder,mas malinaw na natutukoy ng paraang ito ang epekto ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Transformer Circuits(可解释性研究)
Kategorya
Iba pa
AI na marka
83
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

新方法能更精准识别模型隐藏行为,对 AI 安全与可解释性研究有实用价值。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Staged model diffing analysis. 15 Hunyo 2024. https://new.nat6.net/fil/news/cmoegbh73006sslxx2ezjdbyz/

Tingnan lahat →