अन्य

Transformers v5 में टोकनाइजेशन: अधिक सरल, स्पष्ट और मॉड्यूलर

मूल शीर्षक:Tokenization in Transformers v5: Simpler, Clearer, and More Modular

AI सारांश

Transformers v5 ने टोकनाइजेशन के लिए एक नया आर्किटेक्चर जारी किया, जिसका मुख्य बदलाव अधिक सरल और एकीकृत API डिज़ाइन है, जो टोकनाइज़र, पोस्ट-प्रोसेसर और डिकोडर को मॉड्यूलर बनाता है। नए संस्करण में बड़ी मात्रा में विरासत कोड हटाया गया है, जिससे कोडबेस का आकार लगभग 40% कम हुआ है और लंबे टेक्स्ट तथा विशेष टोकन को संभालने में लचीलापन उल्लेखनीय रूप से बढ़ा है। इस सुधार का उद्देश्य डेवलपर्स के लिए उपयोग की बाधा कम करना है और साथ ही GPT, Claude, LLaMA जैसे विभिन्न बड़े भाषा मॉडलों को अधिक कुशल और सुसंगत टोकनाइजेशन समर्थन प्रदान करना है।

मुख्य जानकारी

  • Transformers v5 ने टोकनाइजेशन के लिए एक नया आर्किटेक्चर जारी किया,जिसका मुख्य बदलाव अधिक सरल और…
  • जिससे कोडबेस का आकार लगभग 40% कम हुआ है और लंबे टेक्स्ट तथा विशेष टोकन को संभालने में लचीलापन…
  • Claude,LLaMA जैसे विभिन्न बड़े भाषा मॉडलों को अधिक कुशल और सुसंगत टोकनाइजेशन समर्थन प्रदान करना है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Hugging Face 社区博客(混合发现)
श्रेणी
अन्य
AI स्कोर
73
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

Transformers库tokenization模块重构,开发者可更高效处理文本数据。

संबंधित एंटिटी

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Transformers v5 में टोकनाइजेशन: अधिक सरल, स्पष्ट और मॉड्यूलर। 18 दिसंबर 2025। https://new.nat6.net/hi/news/cmoegbhak00a1slxxrimmhnqr/

सभी देखें →