Iba pa

Paggamit ng dictionary learning feature bilang classifier

Orihinal na pamagat:Using Dictionary Learning Features as Classifiers

AI summary

Pinag-aralan ng koponan ng interpretability ng Anthropic ang paggamit ng human-interpretable feature na nakuha mula sa malalaking modelo ng wika sa pamamagitan ng dictionary learning bilang classifier. Sa gawain ng pag-uuri ng bioweapon prompt, ang performance ng linear feature classifier ay kayang makipagkumpitensya o mas mahusay pa kaysa sa orihinal na activation value classifier, samantalang ang decision tree classifier na batay sa feature ay mas mababa ang performance ngunit mas interpretable. Nakakatulong ang interpretability ng feature classifier sa pag-visualize ng dataset at pagtuklas ng spurious correlation, na maaaring gamitin sa pagbuo ng adversarial attack. Gayunpaman, nagdadala ng komplikasyon ang paggamit ng feature, kaya sa mga aplikasyong prayoridad ang performance, ang orihinal na activation value ay nananatiling malakas na baseline. Ipinapakita ng eksperimento na ang performance ng feature classifier ay naaapektuhan ng tatlong detalye: kung pare-parehong kasama sa data ang "human/assistant" label, kung nahalo sa dictionary learning training set ang domain-related data, at kung ginamitan ng max pooling sa konteksto sa halip na gamitin lamang ang activation value ng huling token.

Mahahalagang impormasyon

  • Pinag-aralan ng koponan ng interpretability ng Anthropic ang paggamit ng human-interpretable…
  • Sa gawain ng pag-uuri ng bioweapon prompt,ang performance ng linear feature classifier ay kayang…
  • Nakakatulong ang interpretability ng feature classifier sa pag-visualize ng dataset at pagtuklas…
  • Gayunpaman,nagdadala ng komplikasyon ang paggamit ng feature,kaya sa mga aplikasyong prayoridad…
  • Ipinapakita ng eksperimento na ang performance ng feature classifier ay naaapektuhan ng tatlong…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Transformer Circuits(可解释性研究)
Kategorya
Iba pa
AI na marka
73
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Paggamit ng dictionary learning feature bilang classifier. 15 Hunyo 2024. https://new.nat6.net/fil/news/cmoegbh73006uslxxjbk7twca/

Tingnan lahat →