Sinh hỏi đáp tổng hợp từ hạt giống tác vụ trong tiền huấn luyện Nemotron
Tiêu đề gốc:Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining
Tóm tắt AI
Trong thí nghiệm huấn luyện tiếp 100B token của mô hình Nemotron-3 Nano, sinh dữ liệu tổng hợp từ hạt giống tác vụ (Task-Seeded SDG) giúp MMLU-Pro tăng 1,8 điểm, trung bình mã nguồn tăng 1,9 điểm, hiểu biết thông thường tăng 1,6 điểm, GPQA tăng 11,1 điểm, điểm toán giữ ổn định. Quy trình dùng tập huấn luyện của khoảng 70 tác vụ công khai (khoảng 700 tác vụ con) trong lm-eval-harness làm hạt giống, sinh ví dụ mới và bổ sung suy luận cùng ngữ cảnh, sau khi kiểm tra định dạng, loại trùng và xác thực đáp án thu được tập dữ liệu tổng hợp tinh tuyển, dùng cho huấn luyện Nemotron Ultra và Super.
Thông tin chính
- Trong thí nghiệm huấn luyện tiếp 100B token của mô hình Nemotron-3 Nano,sinh dữ liệu tổng hợp từ…
- Quy trình dùng tập huấn luyện của khoảng 70 tác vụ công khai (khoảng 700 tác vụ con) trong…
- sau khi kiểm tra định dạng,loại trùng và xác thực đáp án thu được tập dữ liệu tổng hợp tinh…
Tóm tắt nhanh
- Đăng lúc
- Cập nhật lúc
- Nguồn
- Hugging Face 社区博客(混合发现)
- Danh mục
- Bài báo & nghiên cứu
- Điểm AI
- 68
NVIDIA 公开了 Nemotron 训练中造合成数据的详细方法论,用 70 个公开任务训练集做种子生成新题目,100B token 实验把 GPQA 拉高 11 个点,做预训练的人值得看看他们怎么造的数据。
Nguồn và bản quyền
Bài viết này được tổng hợp dựa trên các tiêu đề chọn lọc và tóm tắt AI từ API công khai của AIHOT, đã ghi rõ nguồn và liên kết ngược; bản quyền nội dung gốc thuộc về cơ quan truyền thông và tác giả gốc, trang này không sao chép toàn văn.
Cách trích dẫn
Khi trích dẫn bài viết này, vui lòng giữ nguyên tiêu đề, ngày đăng và liên kết vĩnh viễn, đồng thời ghi rõ nguồn là Orange News.
Orange News: Sinh hỏi đáp tổng hợp từ hạt giống tác vụ trong tiền huấn luyện Nemotron. 4 tháng 6 2026. https://new.nat6.net/vi/news/cmpzfevp50305slkpy89xsy0v/