Bài báo & nghiên cứu

Sinh hỏi đáp tổng hợp từ hạt giống tác vụ trong tiền huấn luyện Nemotron

Tiêu đề gốc:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

Tóm tắt AI

Trong thí nghiệm huấn luyện tiếp 100B token của mô hình Nemotron-3 Nano, sinh dữ liệu tổng hợp từ hạt giống tác vụ (Task-Seeded SDG) giúp MMLU-Pro tăng 1,8 điểm, trung bình mã nguồn tăng 1,9 điểm, hiểu biết thông thường tăng 1,6 điểm, GPQA tăng 11,1 điểm, điểm toán giữ ổn định. Quy trình dùng tập huấn luyện của khoảng 70 tác vụ công khai (khoảng 700 tác vụ con) trong lm-eval-harness làm hạt giống, sinh ví dụ mới và bổ sung suy luận cùng ngữ cảnh, sau khi kiểm tra định dạng, loại trùng và xác thực đáp án thu được tập dữ liệu tổng hợp tinh tuyển, dùng cho huấn luyện Nemotron Ultra và Super.

Thông tin chính

  • Trong thí nghiệm huấn luyện tiếp 100B token của mô hình Nemotron-3 Nano,sinh dữ liệu tổng hợp từ…
  • Quy trình dùng tập huấn luyện của khoảng 70 tác vụ công khai (khoảng 700 tác vụ con) trong…
  • sau khi kiểm tra định dạng,loại trùng và xác thực đáp án thu được tập dữ liệu tổng hợp tinh…

Tóm tắt nhanh

Đăng lúc
Cập nhật lúc
Nguồn
Hugging Face 社区博客(混合发现)
Danh mục
Bài báo & nghiên cứu
Điểm AI
68
Đọc bản gốc Đọc toàn văn tại nguồn tin gốc
Lý do đề xuất

NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。

Nguồn và bản quyền

Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.

Liên kết gốc · Mục AIHOT

Cách trích dẫn

Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.

Orange News: Sinh hỏi đáp tổng hợp từ hạt giống tác vụ trong tiền huấn luyện Nemotron. 4 tháng 6 2026. https://new.nat6.net/vi/news/cmpzfevp50305slkpy89xsy0v/

Xem tất cả →