Практика разработки оценок, устойчивых к ИИ
Оригинальный заголовок:Designing AI-resistant technical evaluations
ИИ-резюме
Руководитель команды оптимизации производительности Anthropic Тристан Хьюм поделился опытом разработки оценок, устойчивых к ИИ. С начала 2024 года команда использовала тестовые задания на дом для оценки способности кандидатов оптимизировать код симулятора ускорителя; участие приняли более 1000 человек, удалось нанять десятки инженеров. Однако по мере быстрого развития моделей Claude Opus 4 превзошла большинство человеческих кандидатов, а Opus 4.5 сравнялась с лучшими из них, из-за чего в условиях ограниченного времени стало трудно отличить человеческий результат от ИИ. Автор трижды перерабатывал тест, исследуя факторы устойчивости к ИИ, и подробно описал исходный дизайн, способы взлома модели и нестандартные контрмеры. В итоге команда опубликовала исходный тест как открытый вызов, поскольку без ограничения времени люди по-прежнему превосходят Claude.
Ключевые моменты
- Руководитель команды оптимизации производительности Anthropic Тристан Хьюм поделился опытом…
- С начала 2024 года команда использовала тестовые задания на дом для оценки способности кандидатов…
- участие приняли более 1000 человек,удалось нанять десятки инженеров.
- Однако по мере быстрого развития моделей Claude Opus 4 превзошла большинство человеческих…
- 5 сравнялась с лучшими из них,из-за чего в условиях ограниченного времени стало трудно отличить…
Кратко
- Опубликовано
- Обновлено
- Категория
- Мнения
- Оценка ИИ
- 72
Anthropic 性能优化负责人亲手写了三版面试题被自家模型逐一击穿的全过程,这种坦诚的工程复盘比任何 AI 能力排行榜都更真实地告诉你,模型到底强到了什么程度。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Практика разработки оценок, устойчивых к ИИ. 21 января 2026. https://new.nat6.net/ru/news/cmorb7ml0008dslhf40wkfniz/