Trạng thái ẩn của mô hình ngôn ngữ lớn đóng băng vẫn chứa tín hiệu hành vi đọc được, công nghệ mới nâng cao đáng kể độ chính xác
Tiêu đề gốc:Frozen LLMs still carry readable behavior signals deep inside their hidden states. And Propriocepti...
Tóm tắt AI
Công nghệ Cygnus do Proprioceptive AI phát triển, bằng cách thêm bộ điều hợp tự nhận thức cho mô hình ngôn ngữ lớn đóng băng, cho phép đọc hình học nhận thức bên trong. Công nghệ chiếu trạng thái ẩn của mô hình vào không gian toán học định nghĩa bởi đại số Lie gl(4,R), tách ra "chế độ tối" chứa tín hiệu độ chính xác chính, từ đó nâng cao đáng kể hiệu suất mô hình mà không cần huấn luyện lại. Ví dụ, chỉ với một card đồ họa RTX 3090, đã nâng độ chính xác của Qwen-32B trên benchmark ARC-Challenge từ 82,2% lên 94,97%. Bộ điều hợp sẽ bao phủ nhiều mô hình từ 3B đến 405B, nút dịch vụ có thể hỗ trợ 50.000 người dùng đồng thời, dự kiến ra mắt cuối tuần này. Bài báo thiết kế liên quan đã được công khai.
Thông tin chính
- Công nghệ Cygnus do Proprioceptive AI phát triển,bằng cách thêm bộ điều hợp tự nhận thức cho mô…
- Công nghệ chiếu trạng thái ẩn của mô hình vào không gian toán học định nghĩa bởi đại số Lie…
- Ví dụ,chỉ với một card đồ họa RTX 3090,đã nâng độ chính xác của Qwen-32B trên benchmark…
- Bộ điều hợp sẽ bao phủ nhiều mô hình từ 3B đến 405B,nút dịch vụ có thể hỗ trợ 50.
- 000 người dùng đồng thời,dự kiến ra mắt cuối tuần này.
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Danh mục
- Hướng dẫn & mẹo
- Điểm AI
- 77
用Lie代数揪出模型内部的“黑暗模式”,在ARC上狂涨12个点还只要一张3090,如果真能泛化到其他任务,这或许是今年最巧妙的模型增强方案,但单基准提升仍需更多验证。
Thực thể liên quan
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Trạng thái ẩn của mô hình ngôn ngữ lớn đóng băng vẫn chứa tín hiệu hành vi đọc được, công nghệ mới nâng cao đáng kể độ chính xác. 8 tháng 5 2026. https://new.nat6.net/vi/news/cmovw0m8j00s3slcxklzwwqpj/