Bài báo & nghiên cứu

Thinking Machines Lab phân tích nguyên nhân bất định trong suy luận LLM và mã nguồn mở kernel batch-invariant

Tiêu đề gốc:Defeating Nondeterminism in LLM Inference

Tóm tắt AI

Thinking Machines Lab phát hành blog, chỉ ra nguyên nhân thực sự của bất định trong suy luận LLM không phải là đồng thời cộng số thực dấu phẩy động, mà là kernel thiếu tính bất biến theo batch, sự thay đổi kích thước batch do tải máy chủ sẽ thay đổi đầu ra của từng yêu cầu.

Thông tin chính

  • Thinking Machines Lab phát hành blog
  • chỉ ra nguyên nhân thực sự của bất định trong suy luận LLM không phải là đồng thời cộng số thực…
  • mà là kernel thiếu tính bất biến theo batch,sự thay đổi kích thước batch do tải máy chủ sẽ thay…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Thinking Machines Lab:官方博客
Danh mục
Bài báo & nghiên cứu
Điểm AI
68
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Thinking Machines Lab phân tích nguyên nhân bất định trong suy luận LLM và mã nguồn mở kernel batch-invariant. 10 tháng 9 2025. https://new.nat6.net/vi/news/cmq75sy1q0009sl5w22bhu5g3/

Xem tất cả →