Praktik merancang evaluasi teknis yang tahan AI
Judul asli:Designing AI-resistant technical evaluations
Ringkasan AI
Tristan Hume, kepala tim optimasi performa Anthropic, membagikan pengalaman merancang evaluasi teknis yang tahan AI. Sejak awal 2024, tim menggunakan tes take-home untuk menilai kemampuan kandidat mengoptimalkan kode akselerator simulasi; lebih dari 1000 orang berpartisipasi dan puluhan insinyur berhasil direkrut. Namun, seiring iterasi cepat model Claude, Opus 4 telah melampaui sebagian besar pelamar manusia, dan Opus 4.5 bahkan menyamai kandidat terbaik, sehingga sulit membedakan keluaran manusia dan AI dalam batas waktu. Untuk itu, penulis mendesain ulang tes tiga kali, mengeksplorasi elemen evaluasi yang tahan AI, serta merinci desain awal, cara model membobolnya, dan tindakan penanggulangan yang tidak konvensional. Pada akhirnya, tim merilis tes awal sebagai tantangan publik karena tanpa batas waktu, performa manusia masih lebih baik daripada Claude.
Poin utama
- Tristan Hume,kepala tim optimasi performa Anthropic,membagikan pengalaman merancang evaluasi…
- Sejak awal 2024,tim menggunakan tes take-home untuk menilai kemampuan kandidat mengoptimalkan kode…
- lebih dari 1000 orang berpartisipasi dan puluhan insinyur berhasil direkrut.
- Namun,seiring iterasi cepat model Claude,Opus 4 telah melampaui sebagian besar pelamar manusia,dan…
- 5 bahkan menyamai kandidat terbaik,sehingga sulit membedakan keluaran manusia dan AI dalam batas…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Opini & Komentar
- Skor AI
- 72
Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Praktik merancang evaluasi teknis yang tahan AI. 21 Januari 2026. https://new.nat6.net/id/news/cmorb7ml0008dslhf40wkfniz/