Makalah & Riset

Sierra merilis benchmark τ-bench, mengevaluasi performa dan keandalan agen AI dalam skenario nyata

Judul asli:𝜏-Bench: Benchmarking AI agents for the real-world

Ringkasan AI

Tim riset Sierra AI merilis benchmark τ-bench (dua domain τ-retail dan τ-airline), mengevaluasi kemampuan agen menyelesaikan tugas kompleks dan mematuhi kebijakan domain melalui interaksi dinamis multi-putaran antara pengguna simulasi LLM dan API alat, serta mengajukan metrik keandalan pass^k.

Poin utama

  • Tim riset Sierra AI merilis benchmark τ-bench (dua domain τ-retail dan τ-airline)
  • mengevaluasi kemampuan agen menyelesaikan tugas kompleks dan mematuhi kebijakan domain melalui…
  • serta mengajukan metrik keandalan pass^k.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Sierra:Blog(RSS)
Kategori
Makalah & Riset
Skor AI
63
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

原文由团队自述基准设计动机与结果,读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Sierra merilis benchmark τ-bench, mengevaluasi performa dan keandalan agen AI dalam skenario nyata. 21 Juni 2024. https://new.nat6.net/id/news/dnjp1m2isjqcspa7fy1kw92qo/

Lihat semua →