Opini & Komentar

Praktik merancang evaluasi teknis yang tahan AI

Judul asli:Designing AI-resistant technical evaluations

Ringkasan AI

Tristan Hume, kepala tim optimasi performa Anthropic, membagikan pengalaman merancang evaluasi teknis yang tahan AI. Sejak awal 2024, tim menggunakan tes take-home untuk menilai kemampuan kandidat mengoptimalkan kode akselerator simulasi; lebih dari 1000 orang berpartisipasi dan puluhan insinyur berhasil direkrut. Namun, seiring iterasi cepat model Claude, Opus 4 telah melampaui sebagian besar pelamar manusia, dan Opus 4.5 bahkan menyamai kandidat terbaik, sehingga sulit membedakan keluaran manusia dan AI dalam batas waktu. Untuk itu, penulis mendesain ulang tes tiga kali, mengeksplorasi elemen evaluasi yang tahan AI, serta merinci desain awal, cara model membobolnya, dan tindakan penanggulangan yang tidak konvensional. Pada akhirnya, tim merilis tes awal sebagai tantangan publik karena tanpa batas waktu, performa manusia masih lebih baik daripada Claude.

Poin utama

  • Tristan Hume,kepala tim optimasi performa Anthropic,membagikan pengalaman merancang evaluasi…
  • Sejak awal 2024,tim menggunakan tes take-home untuk menilai kemampuan kandidat mengoptimalkan kode…
  • lebih dari 1000 orang berpartisipasi dan puluhan insinyur berhasil direkrut.
  • Namun,seiring iterasi cepat model Claude,Opus 4 telah melampaui sebagian besar pelamar manusia,dan…
  • 5 bahkan menyamai kandidat terbaik,sehingga sulit membedakan keluaran manusia dan AI dalam batas…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategori
Opini & Komentar
Skor AI
72
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Praktik merancang evaluasi teknis yang tahan AI. 21 Januari 2026. https://new.nat6.net/id/news/cmorb7ml0008dslhf40wkfniz/

Lihat semua →