Circuit tracing: Paglalantad ng computational graph sa language model
Orihinal na pamagat:Circuit Tracing: Revealing Computational Graphs in Language Models
AI summary
Iminungkahi ng koponan ng pananaliksik ang paraang "circuit tracing" upang ilantad ang mekanismo ng pagkalkula sa pag-uugali ng language model. Sa pamamagitan ng pagsubaybay sa mga hakbang ng pagkalkula sa isang replacement model, bumubuo ito ng graph na naglalarawan sa proseso ng pagpapatupad ng modelo; gumagamit ang replacement model ng mga interpretable component tulad ng cross-layer transcoder upang tantiyahin ang orihinal na istruktura. Bumuo ang koponan ng mga tool sa visualization at verification upang pag-aralan ang attribution graph ng simpleng pag-uugali ng 18-layer na language model, na naglalatag ng batayan para sa kasunod na pananaliksik, at planong ilapat ito sa Claude 3.5 Haiku. Kabilang sa mga mahalagang desisyon ang paggamit ng cross-layer transcoder upang kunin ang feature, at pagbuo ng attribution graph ng linear na interaksyon sa pagitan ng mga feature.
Mahahalagang impormasyon
- Iminungkahi ng koponan ng pananaliksik ang paraang "circuit tracing" upang ilantad ang mekanismo…
- Sa pamamagitan ng pagsubaybay sa mga hakbang ng pagkalkula sa isang replacement model,bumubuo ito…
- gumagamit ang replacement model ng mga interpretable component tulad ng cross-layer transcoder…
- Bumuo ang koponan ng mga tool sa visualization at verification upang pag-aralan ang attribution…
- 5 Haiku.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Transformer Circuits(可解释性研究)
- Kategorya
- Iba pa
- AI na marka
- 76
揭示大模型内部机制,为AI安全与调试提供新工具。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Circuit tracing: Paglalantad ng computational graph sa language model. 27 Marso 2025. https://new.nat6.net/fil/news/cmoegbh73006pslxxkpwgqif7/