Sản phẩm & ứng dụng

dots infra của Xiaohongshu mã nguồn mở BigMac: đột phá biên Pareto huấn luyện mô hình đa phương thức lớn

Tiêu đề gốc:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

Tóm tắt AI

Xiaohongshu mã nguồn mở BigMac, một mô hình huấn luyện song song đường ống mới hướng tới tình huống đa phương thức gốc. Thông qua đường ống lồng nhau an toàn phụ thuộc, nó không tăng bong bóng đường ống LLM, giữ bộ nhớ kích hoạt có giới hạn, đồng thời hiệu quả thực hiện huấn luyện đường ống đa phương thức. So với đường cơ sở, tốc độ huấn luyện BigMac tăng 1,08~1,9 lần, và giữ mức chiếm dụng bộ nhớ ổn định khi global batch size tăng; hiện đã được áp dụng trong huấn luyện sản xuất mô hình đa phương thức dots.

Thông tin chính

  • Xiaohongshu mã nguồn mở BigMac,một mô hình huấn luyện song song đường ống mới hướng tới tình huống…
  • Thông qua đường ống lồng nhau an toàn phụ thuộc,nó không tăng bong bóng đường ống LLM,giữ bộ nhớ…
  • So với đường cơ sở,tốc độ huấn luyện BigMac tăng 1,08~1,9 lần,và giữ mức chiếm dụng bộ nhớ ổn định…
  • hiện đã được áp dụng trong huấn luyện sản xuất mô hình đa phương thức dots.

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
公众号:小红书技术(dots.llm)
Danh mục
Sản phẩm & ứng dụng
Điểm AI
70
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

通过在成熟的LLM流水线中嵌入依赖安全的编码器与生成器计算,BigMac让多模态大模型训练不再需要在速度和显存之间做非此即彼的选择,适合正在纠结训练策略的工程团队检查调度逻辑。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: dots infra của Xiaohongshu mã nguồn mở BigMac: đột phá biên Pareto huấn luyện mô hình đa phương thức lớn. 22 tháng 7 2026. https://new.nat6.net/vi/news/cmsdu108a00ucrofzwlsyffxo/

Xem tất cả →