Thinking Machines Lab ने LLM अनुमान अनिश्चितता के कारणों का विश्लेषण किया और batch-invariant कर्नेल ओपन-सोर्स किए
मूल शीर्षक:Defeating Nondeterminism in LLM Inference
AI सारांश
Thinking Machines Lab ने एक ब्लॉग जारी किया जिसमें बताया गया कि LLM अनुमान अनिश्चितता का वास्तविक कारण समवर्तीता और फ्लोटिंग पॉइंट नहीं, बल्कि कर्नेल में batch invariance की कमी है; सर्वर लोड के कारण batch size में परिवर्तन एकल अनुरोध के आउटपुट को बदल सकता है।
मुख्य जानकारी
- Thinking Machines Lab ने एक ब्लॉग जारी किया जिसमें बताया गया कि LLM अनुमान अनिश्चितता का वास्तविक…
- बल्कि कर्नेल में batch invariance की कमी है
- सर्वर लोड के कारण batch size में परिवर्तन एकल अनुरोध के आउटपुट को बदल सकता है।
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- श्रेणी
- पेपर और शोध
- AI स्कोर
- 68
作者指出 LLM 推理不确定性的真因是 batch size 变化而非并发浮点问题,并给出可复现内核方案。
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: Thinking Machines Lab ने LLM अनुमान अनिश्चितता के कारणों का विश्लेषण किया और batch-invariant कर्नेल ओपन-सोर्स किए। 10 सितंबर 2025। https://new.nat6.net/hi/news/cmq75sy1q0009sl5w22bhu5g3/