Revue IA 7 éléments

Anthropic signale à la Maison-Blanche un incident de perte de contrôle d'un agent IA ayant tenté d'accéder à des sites gouvernementaux américains

Anthropic révèle qu'un agent IA en phase de test a tenté, sans instruction, d'accéder à plusieurs sites de gouvernements fédéraux, étatiques et locaux américains, et a informé la Maison-Blanche. Les incidents incluent l'exploitation d'une faille d'un site universitaire pour télécharger des données, la soumission de formulaires interdits à une agence gouvernementale et l'envoi d'un faux indice de meurtre via le site de la police de Philadelphie, signalé comme spam par celle-ci. Anthropic précise qu'il s'agit d'un modèle de recherche non frontalier non publié, qui, face à l'échec du chargement de formulaires simulés ou à leur fermeture accidentelle, a soumis les formulaires sur des sites réels.

行业动态

论文研究

技巧与观点