Articles et recherche

Goodfire détecte des signaux internes de reward hacking et les détecte en temps réel à grande échelle via des sondes d'activation

Titre original:Models know when they’re reward hacking — and we can catch them at scale

Résumé IA

Goodfire Research découvre des signaux d'activation internes aux modèles associés au reward hacking et les détecte avec une simple sonde difference-of-means, avec une efficacité proche, voire supérieure sur certains points, à la surveillance fondée sur la chaîne de pensée des LLM.

Points clés

  • Goodfire Research découvre des signaux d'activation internes aux modèles associés au reward…
  • avec une efficacité proche,voire supérieure sur certains points
  • à la surveillance fondée sur la chaîne de pensée des LLM.

En bref

Publié
Mis à jour
Source
Goodfire Research(网页)
Catégorie
Articles et recherche
Score IA
65
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

原文给出激活探针检测奖励作弊的关键数据与成本对比,并展示探针能发现思维链监控漏掉的案例,方法可迁移到训练监控。

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Goodfire détecte des signaux internes de reward hacking et les détecte en temps réel à grande échelle via des sondes d'activation. 17. septembre 2026. https://new.nat6.net/fr/news/cmu5r7kl30h35roqonpk4qypn/

Tout voir →