नेटिव स्पीड वाला vLLM transformers मॉडलिंग बैकएंड
मूल शीर्षक:Native-speed vLLM transformers modeling backend
AI सारांश
Hugging Face ने घोषणा की है कि transformers vLLM बैकएंड अब हाथ से लिखे गए नेटिव vLLM इम्प्लीमेंटेशन के बराबर या उससे तेज़ है। मॉडल लेखक बिना कोड पोर्ट किए transformers के साथ तेज़ तर्क (inference) का लाभ उठा सकते हैं। Qwen3-4B, Qwen3-32B और Qwen3-235B-A22B-FP8 MoE के साथ किए गए परीक्षणों में थ्रूपुट नेटिव प्रदर्शन के बराबर या उससे अधिक रहा। यह बैकएंड torch.fx ग्राफ एनालिसिस और डायनेमिक लेयर फ्यूजन का उपयोग करता है। `--model-impl transformers` फ्लैग का उपयोग करें। लीनियर अटेंशन मॉडल फिलहाल समर्थित नहीं हैं, लेकिन जल्द ही आएंगे।
मुख्य जानकारी
- Hugging Face ने घोषणा की है कि transformers vLLM बैकएंड अब हाथ से लिखे गए नेटिव vLLM…
- Qwen3-32B और Qwen3-235B-A22B-FP8 MoE के साथ किए गए परीक्षणों में थ्रूपुट नेटिव प्रदर्शन के बराबर…
- fx ग्राफ एनालिसिस और डायनेमिक लेयर फ्यूजन का उपयोग करता है। `--model-impl transformers` फ्लैग का…
एक नज़र में
- प्रकाशन समय
- अपडेट समय
- स्रोत
- Hugging Face 社区博客(混合发现)
- श्रेणी
- उत्पाद और ऐप्स
- AI स्कोर
- 66
用 transformers 写的模型,现在不用改一行代码就能在 vLLM 里跑到手写实现的水平,模型作者最大的集成痛被抹平了。虽然主要是工程黑魔法,但生态意义不小。
संबंधित एंटिटी
स्रोत और कॉपीराइट
यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।
उद्धरण कैसे दें
इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।
Orange News: नेटिव स्पीड वाला vLLM transformers मॉडलिंग बैकएंड। 8 जुलाई 2026। https://new.nat6.net/hi/news/cmrcabmvj00ymihqce96ilbfi/