Paggamit ng dictionary learning feature bilang classifier
Orihinal na pamagat:Using Dictionary Learning Features as Classifiers
AI summary
Pinag-aralan ng koponan ng interpretability ng Anthropic ang paggamit ng human-interpretable feature na nakuha mula sa malalaking modelo ng wika sa pamamagitan ng dictionary learning bilang classifier. Sa gawain ng pag-uuri ng bioweapon prompt, ang performance ng linear feature classifier ay kayang makipagkumpitensya o mas mahusay pa kaysa sa orihinal na activation value classifier, samantalang ang decision tree classifier na batay sa feature ay mas mababa ang performance ngunit mas interpretable. Nakakatulong ang interpretability ng feature classifier sa pag-visualize ng dataset at pagtuklas ng spurious correlation, na maaaring gamitin sa pagbuo ng adversarial attack. Gayunpaman, nagdadala ng komplikasyon ang paggamit ng feature, kaya sa mga aplikasyong prayoridad ang performance, ang orihinal na activation value ay nananatiling malakas na baseline. Ipinapakita ng eksperimento na ang performance ng feature classifier ay naaapektuhan ng tatlong detalye: kung pare-parehong kasama sa data ang "human/assistant" label, kung nahalo sa dictionary learning training set ang domain-related data, at kung ginamitan ng max pooling sa konteksto sa halip na gamitin lamang ang activation value ng huling token.
Mahahalagang impormasyon
- Pinag-aralan ng koponan ng interpretability ng Anthropic ang paggamit ng human-interpretable…
- Sa gawain ng pag-uuri ng bioweapon prompt,ang performance ng linear feature classifier ay kayang…
- Nakakatulong ang interpretability ng feature classifier sa pag-visualize ng dataset at pagtuklas…
- Gayunpaman,nagdadala ng komplikasyon ang paggamit ng feature,kaya sa mga aplikasyong prayoridad…
- Ipinapakita ng eksperimento na ang performance ng feature classifier ay naaapektuhan ng tatlong…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Transformer Circuits(可解释性研究)
- Kategorya
- Iba pa
- AI na marka
- 73
可解释性方法能增强 AI 安全检测,并帮助发现训练数据中的虚假关联。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Paggamit ng dictionary learning feature bilang classifier. 15 Hunyo 2024. https://new.nat6.net/fil/news/cmoegbh73006uslxxjbk7twca/