Tim riset Sierra AI merilis benchmark τ-bench (dua domain τ-retail dan τ-airline), mengevaluasi kemampuan agen menyelesaikan tugas kompleks dan mematuhi kebijakan domain melalui interaksi dinamis multi-putaran antara pengguna simulasi LLM dan API alat, serta mengajukan metrik keandalan pass^k.
Poin utama
Tim riset Sierra AI merilis benchmark τ-bench (dua domain τ-retail dan τ-airline)
mengevaluasi kemampuan agen menyelesaikan tugas kompleks dan mematuhi kebijakan domain melalui…
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Sierra merilis benchmark τ-bench, mengevaluasi performa dan keandalan agen AI dalam skenario nyata. 21 Juni 2024. https://new.nat6.net/id/news/dnjp1m2isjqcspa7fy1kw92qo/