उत्पाद और ऐप्स

कुशल ऑफ़लाइन इन्फरेंस फ्रेमवर्क Flood: थ्रूपुट में उल्लेखनीय बढ़त, मल्टीमॉडल और क्वांटाइज़ेशन का समर्थन

मूल शीर्षक:inclusionAI/flood

AI सारांश

Flood ऑफ़लाइन अनुप्रयोगों के लिए एक कुशल बड़ा भाषा मॉडल इन्फरेंस फ्रेमवर्क है। यह पाइपलाइन समानांतरता अपनाकर संचार ओवरहेड को कम करता है और खंडित KV कैश प्रबंधन के माध्यम से निरंतरता बढ़ाता है। फ्रेमवर्क निरंतर बैचिंग, चंक्ड प्रीफ़िल, FP8/INT8 क्वांटाइज़ेशन और मल्टीमॉडल मॉडल इन्फरेंस का समर्थन करता है। प्रदर्शन परीक्षणों से पता चलता है कि विभिन्न मॉडलों और हार्डवेयर पर इसका थ्रूपुट vLLM से अधिकतम 2.4 गुना तक अधिक है। इसका समर्पित कर्नेल SegmentAttention लंबे अनुक्रमों को संसाधित करते समय डिकोडिंग गति में FlashAttention की तुलना में अधिकतम 3.16 गुना सुधार करता है। यह परियोजना मार्च 2025 में ओपन-सोर्स की गई और तेज़ी से विकसित हुई, तथा अब स्पेक्युलेटिव डिकोडिंग जैसी नई सुविधाओं का समर्थन करती है।

मुख्य जानकारी

  • Flood ऑफ़लाइन अनुप्रयोगों के लिए एक कुशल बड़ा भाषा मॉडल इन्फरेंस फ्रेमवर्क है। यह पाइपलाइन…
  • 4 गुना तक अधिक है। इसका समर्पित कर्नेल SegmentAttention लंबे अनुक्रमों को संसाधित करते समय…
  • 16 गुना सुधार करता है। यह परियोजना मार्च 2025 में ओपन-सोर्स की गई और तेज़ी से विकसित हुई,तथा अब…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
蚂蚁 inclusionAI:GitHub 新仓库
श्रेणी
उत्पाद और ऐप्स
AI स्कोर
61
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

蚂蚁的 FLOOD 框架用流水线并行替代张量并行来压通信开销,实测吞吐比 vLLM 高 1.4 到 2.4 倍,做离线推理部署的团队值得花半小时跑一下 benchmark 看看自家场景能不能吃这个红利。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: कुशल ऑफ़लाइन इन्फरेंस फ्रेमवर्क Flood: थ्रूपुट में उल्लेखनीय बढ़त, मल्टीमॉडल और क्वांटाइज़ेशन का समर्थन। 30 जनवरी 2026। https://new.nat6.net/hi/news/cmorb7ik3006sslhfoasz9t4c/

सभी देखें →