Mga Opinyon at Komentaryo

Mga kasanayan sa pagdidisenyo ng AI-resistant technical evaluation

Orihinal na pamagat:Designing AI-resistant technical evaluations

AI summary

Ibinahagi ni Tristan Hume, pinuno ng performance optimization team ng Anthropic, ang kanyang karanasan sa pagdidisenyo ng AI-resistant technical evaluations. Mula unang bahagi ng 2024, gumamit ang team ng take-home test upang suriin ang kakayahan ng mga kandidatong mag-optimize ng simulated accelerator code; mahigit 1000 katao ang lumahok, at matagumpay na nakapag-recruit ng dose-dosenang engineer. Ngunit sa mabilis na pag-unlad ng Claude models, nalampasan na ng Opus 4 ang karamihan ng human applicants, at ang Opus 4.5 ay tumutugma pa sa nangungunang kandidato, kaya mahirap nang makilala ang human at AI output sa ilalim ng time limit. Dahil dito, tatlong beses na muling dinisenyo ng may-akda ang test upang tuklasin ang mga elemento ng AI-resistant evaluation, at detalyadong inilarawan ang orihinal na disenyo, paraan ng pag-crack ng modelo, at hindi karaniwang countermeasures. Sa huli, inilabas ng team ang orihinal na test bilang public challenge, dahil kapag walang time limit, mas mahusay pa rin ang performance ng tao kaysa sa Claude.

Mahahalagang impormasyon

  • Ibinahagi ni Tristan Hume,pinuno ng performance optimization team ng Anthropic,ang kanyang…
  • Mula unang bahagi ng 2024,gumamit ang team ng take-home test upang suriin ang kakayahan ng mga…
  • mahigit 1000 katao ang lumahok,at matagumpay na nakapag-recruit ng dose-dosenang engineer.
  • Ngunit sa mabilis na pag-unlad ng Claude models,nalampasan na ng Opus 4 ang karamihan ng human…
  • 5 ay tumutugma pa sa nangungunang kandidato,kaya mahirap nang makilala ang human at AI output sa…

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategorya
Mga Opinyon at Komentaryo
AI na marka
72
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Mga kasanayan sa pagdidisenyo ng AI-resistant technical evaluation. 21 Enero 2026. https://new.nat6.net/fil/news/cmorb7ml0008dslhf40wkfniz/

Tingnan lahat →