पेपर और शोध

Sierra ने वास्तविक परिदृश्यों में AI Agent के प्रदर्शन और विश्वसनीयता के मूल्यांकन के लिए τ-bench बेंचमार्क जारी किया

मूल शीर्षक:𝜏-Bench: Benchmarking AI agents for the real-world

AI सारांश

Sierra AI रिसर्च टीम ने τ-bench (τ-retail और τ-airline दो डोमेन) बेंचमार्क रिलीज़ किया है, जो LLM-सिम्युलेटेड यूज़र्स और टूल API के बीच मल्टी-टर्न डायनामिक इंटरैक्शन के ज़रिए जटिल कार्यों को पूरा करने व डोमेन नीतियों का पालन करने की Agent की क्षमता का मूल्यांकन करता है, तथा pass^k विश्वसनीयता मीट्रिक प्रस्तुत करता है।

मुख्य जानकारी

  • Sierra AI रिसर्च टीम ने τ-bench (τ-retail और τ-airline दो डोमेन) बेंचमार्क रिलीज़ किया है
  • जो LLM-सिम्युलेटेड यूज़र्स और टूल API के बीच मल्टी-टर्न डायनामिक इंटरैक्शन के ज़रिए जटिल कार्यों…
  • तथा pass^k विश्वसनीयता मीट्रिक प्रस्तुत करता है।

एक नज़र में

प्रकाशन समय
अपडेट समय
स्रोत
Sierra:Blog(RSS)
श्रेणी
पेपर और शोध
AI स्कोर
63
मूल पढ़ें मूल स्रोत पर पूरा लेख पढ़ें
सुझाव का कारण

原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。

स्रोत और कॉपीराइट

यह लेख AIHOT के सार्वजनिक API की चयनित सुर्खियों और AI सारांशों के आधार पर तैयार किया गया है, स्रोत का उल्लेख और लिंक दिया गया है; मूल पाठ का कॉपीराइट मूल मीडिया और लेखक के पास है, यह साइट पूरा पाठ मिरर नहीं करती।

मूल लिंक · AIHOT प्रविष्टि

उद्धरण कैसे दें

इस लेख का उद्धरण देते समय शीर्षक, तिथि और स्थायी लिंक बनाए रखें और स्रोत Orange News बताएं।

Orange News: Sierra ने वास्तविक परिदृश्यों में AI Agent के प्रदर्शन और विश्वसनीयता के मूल्यांकन के लिए τ-bench बेंचमार्क जारी किया। 21 जून 2024। https://new.nat6.net/hi/news/dnjp1m2isjqcspa7fy1kw92qo/

सभी देखें →