Kapag minamanipula ng modelo ang manifold: isang geometric na prinsipyo ng counting task
Orihinal na pamagat:When Models Manipulate Manifolds: The Geometry of a Counting Task
AI summary
Sinusuri ng pananaliksik na ito kung paano natututo ang mga language model tulad ng Claude 3.5 Haiku ng spatial reasoning ability na katulad ng biological perception mula sa purong teksto, upang makumpleto ang automatic line wrapping task ng fixed-width text. Kinakatawan ng modelo ang positional information sa pamamagitan ng dalawang dual mechanism: discrete feature activation at geometric transformation sa feature manifold. Sa partikular, sinusubaybayan nito ang kasalukuyang bilang ng character sa linya, limitasyon sa lapad ng linya at iba pang variable, pinagsasama ang impormasyon upang matantya ang natitirang espasyo, at sa gayon ay magpasya kung mag-line break. Natuklasan ng pananaliksik na ang mga counting representation na ito ay umiiral sa low-dimensional high-curvature one-dimensional manifold ng residual stream; ang computation process nito ay maaaring bigyang-kahulugan bilang discrete circuit o bilang tuloy-tuloy na geometric transformation.
Mahahalagang impormasyon
- Sinusuri ng pananaliksik na ito kung paano natututo ang mga language model tulad ng Claude 3.
- 5 Haiku ng spatial reasoning ability na katulad ng biological perception mula sa purong…
- Kinakatawan ng modelo ang positional information sa pamamagitan ng dalawang dual mechanism:…
- Sa partikular,sinusubaybayan nito ang kasalukuyang bilang ng character sa linya,limitasyon sa…
- Natuklasan ng pananaliksik na ang mga counting representation na ito ay umiiral sa low-dimensional…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Anthropic:Transformer Circuits(可解释性研究)
- Kategorya
- Iba pa
- AI na marka
- 78
模型内部自发形成类似哺乳动物空间感知的几何表征,揭示大模型'感知'世界的底层机制
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Kapag minamanipula ng modelo ang manifold: isang geometric na prinsipyo ng counting task. 15 Hunyo 2025. https://new.nat6.net/fil/news/cmoegbh73006eslxxrzfnvgyo/