Iba pa

Isang toy model tungkol sa (hindi) katapatan ng mekanismo

Orihinal na pamagat:A Toy Model of Mechanistic (Un)Faithfulness

AI summary

Sa pamamagitan ng "absolute value" na toy model, inilalantad ng artikulong ito ang posibleng "hindi katapatan ng mekanismo" ng sparse autoencoder (SAE) at transcoder sa pagpapaliwanag ng neural network. Ang pangunahing punto ay maaaring gumamit ang transcoder ng ganap na kakaibang panloob na mekanismo ng pagkalkula kaysa sa orihinal na modelo kahit na mahusay nitong tinatantiya ang input-output mapping ng modelo. Partikular na tinukoy ng may-akda na kapag may mga paulit-ulit na data point sa training data, maaaring makabuo ang transcoder ng feature circuit na espesyal na "nagmememorya" sa puntong iyon, na wala sa orihinal na modelo. Ang paglihis ng mekanismong ito ay maaaring magdulot ng pagkakaiba sa generalization behavior ng modelo sa out-of-distribution na data, na nagbabanta sa pagiging mapagkakatiwalaan ng mechanical interpretability research. Sa huli, maikling tinalakay ng artikulo ang mga potensyal na paraan ng pagpapagaan tulad ng "Jacobian matching".

Mahahalagang impormasyon

  • Sa pamamagitan ng "absolute value" na toy model,inilalantad ng artikulong ito ang posibleng "hindi…
  • Ang pangunahing punto ay maaaring gumamit ang transcoder ng ganap na kakaibang panloob na…
  • Partikular na tinukoy ng may-akda na kapag may mga paulit-ulit na data point sa training…
  • Ang paglihis ng mekanismong ito ay maaaring magdulot ng pagkakaiba sa generalization behavior ng…
  • Sa huli,maikling tinalakay ng artikulo ang mga potensyal na paraan ng pagpapagaan tulad ng…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Transformer Circuits(可解释性研究)
Kategorya
Iba pa
AI na marka
78
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

揭示可解释性方法中潜在的忠实性问题,帮助开发者更可靠地理解模型内部机制。

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Isang toy model tungkol sa (hindi) katapatan ng mekanismo. 15 Hunyo 2025. https://new.nat6.net/fil/news/cmoegbh73006hslxxvorookrt/

Tingnan lahat →