Iba pa

Circuit tracing: Paglalantad ng computational graph sa language model

Orihinal na pamagat:Circuit Tracing: Revealing Computational Graphs in Language Models

AI summary

Iminungkahi ng koponan ng pananaliksik ang paraang "circuit tracing" upang ilantad ang mekanismo ng pagkalkula sa pag-uugali ng language model. Sa pamamagitan ng pagsubaybay sa mga hakbang ng pagkalkula sa isang replacement model, bumubuo ito ng graph na naglalarawan sa proseso ng pagpapatupad ng modelo; gumagamit ang replacement model ng mga interpretable component tulad ng cross-layer transcoder upang tantiyahin ang orihinal na istruktura. Bumuo ang koponan ng mga tool sa visualization at verification upang pag-aralan ang attribution graph ng simpleng pag-uugali ng 18-layer na language model, na naglalatag ng batayan para sa kasunod na pananaliksik, at planong ilapat ito sa Claude 3.5 Haiku. Kabilang sa mga mahalagang desisyon ang paggamit ng cross-layer transcoder upang kunin ang feature, at pagbuo ng attribution graph ng linear na interaksyon sa pagitan ng mga feature.

Mahahalagang impormasyon

  • Iminungkahi ng koponan ng pananaliksik ang paraang "circuit tracing" upang ilantad ang mekanismo…
  • Sa pamamagitan ng pagsubaybay sa mga hakbang ng pagkalkula sa isang replacement model,bumubuo ito…
  • gumagamit ang replacement model ng mga interpretable component tulad ng cross-layer transcoder…
  • Bumuo ang koponan ng mga tool sa visualization at verification upang pag-aralan ang attribution…
  • 5 Haiku.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Transformer Circuits(可解释性研究)
Kategorya
Iba pa
AI na marka
76
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

揭示大模型内部机制,为AI安全与调试提供新工具。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Circuit tracing: Paglalantad ng computational graph sa language model. 27 Marso 2025. https://new.nat6.net/fil/news/cmoegbh73006pslxxkpwgqif7/

Tingnan lahat →