विचार और समीक्षा

AI एजेंट बनाते समय राउटिंग डिज़ाइन को प्राथमिकता दें

मूल शीर्षक:Most AI Work Can Wait

AI सारांश

AI एजेंट बनाते समय, मॉडल चुनने के बजाय राउटर डिज़ाइन को प्राथमिकता देनी चाहिए। राउटर तय करता है कि प्रत्येक अनुरोध को किस स्तर का मॉडल संभालेगा। सही राउटिंग से 70-80% ट्रैफ़िक मुफ्त स्थानीय मॉडल या एसिंक्रोनस अनुमान पर चल सकता है, जिससे AI लागत 90%+ कम हो सकती है। Brian Armstrong ने बताया कि Coinbase ने बेहतर डिफ़ॉल्ट सेटिंग, राउटिंग और कैशिंग के माध्यम से token उपयोग बढ़ने के साथ-साथ AI खर्च आधा कर दिया। राउटिंग तीन स्तरों में है: कौशल वर्गीकरणकर्ता, राउटर, मॉडल चयनकर्ता। स्थानीय गणना लगभग शून्य लागत है, और एसिंक्रोनस बैच अनुमान वास्तविक-समय अनुमान से दो परिमाण क्रम सस्ता है। अधिकांश कार्यों को सेकंड-स्तरीय प्रतिक्रिया की आवश्यकता नहीं होती। सिंक्रोनस प्रेडिक्टर जटिल कार्यों को चिह्नित करता है, और रात्रिकालीन बैच मूल्यांकनकर्ता राउटिंग भार अपडेट करता है। कौशल डिस्टिलेशन के बाद, गैर-कोडिंग कार्यों में 70-80% एजेंट ट्रैफ़िक स्थानीय मॉडल द्वारा संभाला जा सकता है।

मुख्य जानकारी

  • AI एजेंट बनाते समय,मॉडल चुनने के बजाय राउटर डिज़ाइन को प्राथमिकता देनी चाहिए। राउटर तय करता है कि…
  • जिससे AI लागत 90%+ कम हो सकती है। Brian Armstrong ने बताया कि Coinbase ने बेहतर डिफ़ॉल्ट…
  • मॉडल चयनकर्ता। स्थानीय गणना लगभग शून्य लागत है,और एसिंक्रोनस बैच अनुमान वास्तविक-समय अनुमान से दो…

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Tomasz Tunguz 博客(VC 分析)
श्रेणी
विचार और समीक्षा
AI स्कोर
60
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

Tunguz 把代理架构的设计重心从模型选择拉回到路由上,三层分类器-路由器-选择器的划分很清晰,做 AI 应用的团队可以参考,但其中的新东西不多。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: AI एजेंट बनाते समय राउटिंग डिज़ाइन को प्राथमिकता दें। 1 जुलाई 2026। https://new.nat6.net/hi/news/cmr2jc03c08kssl8zf2bmdjlj/

सभी देखें →