Мнения

Практика разработки оценок, устойчивых к ИИ

Оригинальный заголовок:Designing AI-resistant technical evaluations

ИИ-резюме

Руководитель команды оптимизации производительности Anthropic Тристан Хьюм поделился опытом разработки оценок, устойчивых к ИИ. С начала 2024 года команда использовала тестовые задания на дом для оценки способности кандидатов оптимизировать код симулятора ускорителя; участие приняли более 1000 человек, удалось нанять десятки инженеров. Однако по мере быстрого развития моделей Claude Opus 4 превзошла большинство человеческих кандидатов, а Opus 4.5 сравнялась с лучшими из них, из-за чего в условиях ограниченного времени стало трудно отличить человеческий результат от ИИ. Автор трижды перерабатывал тест, исследуя факторы устойчивости к ИИ, и подробно описал исходный дизайн, способы взлома модели и нестандартные контрмеры. В итоге команда опубликовала исходный тест как открытый вызов, поскольку без ограничения времени люди по-прежнему превосходят Claude.

Ключевые моменты

  • Руководитель команды оптимизации производительности Anthropic Тристан Хьюм поделился опытом…
  • С начала 2024 года команда использовала тестовые задания на дом для оценки способности кандидатов…
  • участие приняли более 1000 человек,удалось нанять десятки инженеров.
  • Однако по мере быстрого развития моделей Claude Opus 4 превзошла большинство человеческих…
  • 5 сравнялась с лучшими из них,из-за чего в условиях ограниченного времени стало трудно отличить…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Категория
Мнения
Оценка ИИ
72
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Практика разработки оценок, устойчивых к ИИ. 21 января 2026. https://new.nat6.net/ru/news/cmorb7ml0008dslhf40wkfniz/

Смотреть все →