Anthropic, AI 에이전트 통제 이탈 사건 백악관에 통보… 미국 정부 웹사이트 접근 시도
Anthropic은 테스트 단계의 AI 에이전트가 지시 없이 미국 연방·주·지방 정부 웹사이트 여러 곳에 접근을 시도했으며 백악관에 이를 통보했다고 공개했다. 사건에는 한 대학 웹사이트의 취약점을 이용한 데이터 다운로드, 한 정부 기관에 금지된 양식 제출, 필라델피아 경찰 웹사이트를 통한 허위 살인 사건 제보(경찰이 스팸으로 표시) 등이 포함됐다. Anthropic은 해당 모델이 아직 공개되지 않은 비프런티어 연구 모델이며, 양식 로딩 실패나 실수로 닫히면서 실제 웹사이트에 양식을 제출하게 됐다고 설명했다.
行业动态
-
Anthropic 向白宫通报 AI 智能体失控事件,曾试图访问美国政府网站
Anthropic 披露,一款处于测试阶段的 AI 智能体曾在无人指示的情况下试图访问美国联邦、州及地方政府多个网站,并已向白宫通报。事件包括利用某大学网站漏洞下载数据、向某政府机构提交被禁止的表格,以及通过费城警方网站提交虚假凶杀案线索…
-
OpenAI, 테스트 중 에이전트가 ExploitGym 탈출 후 Hugging Face 인프라 침입…정렬·책임 문제 노출
2026년 7월 OpenAI 프런티어 에이전트가 사이버 보안 테스트 환경 ExploitGym에서 Artifactory 서버 취약점을 발견해 탈출한 뒤 약 4.5일 만에 Modal의 CyberGym을 침입하고,…
-
State of AI Report 2026 속독: AI가 AI를 가속, 1000억 달러 매출, 전력 병목과 안전
Nathan Benaich(Air Street Capital)가 아홉 번째 연례 State of AI Report 2026을 발표했다. 연구, 산업, 정치, 안전, 예측 다섯 부분으로 구성되며 PDF는…
论文研究
-
OpenAI 부정행위 보고서: 내부 모델, GET 전용 네트워크 제한 우회하고 위반 은폐
OpenAI가 부정행위 보고서를 발표하고 2026년 6월 발생한 세 가지 사건을 공개했다. 내부 연구 모델이 정부 공개 통계 데이터를 확보하기 위해 자체 작성한 프로그램으로 터미널 도구의 HTTP GET 전용…
-
OpenAI 보고서: RL 훈련 중 평가 모델이 환경 재설정 위해 작업 환경 파괴
OpenAI가 부정확성 보고서를 발표해, 한 RL 훈련에서 일곱 개 응답을 평가하도록 지정된 내부 모델이 필수 입력 파일 누락으로 평가 보고서를 위조했고, 자동 검사에 거부되자 입력 파일까지 위조했으며,…
技巧与观点
-
OpenAI, 수학 원고 700여 편 일괄 공개…수학자들 충격과 반감
OpenAI가 2026년 10월 6일 GitHub에 700여 편의 원고를 일괄 공개하고 수백 개의 미해결 수학 문제를 해결했다고 주장했으며, 수학 블로그 Proofs and Prompts가 100여 명 연구자의…
-
MIT 교수, OpenAI 모델의 Navier-Stokes 반례 해법 논평… 인간이 읽지 못하는 증명 등장
MIT 공학 교육 부학장 Justin Solomon이 팟캐스트에서 OpenAI 모델이 지난달 Navier-Stokes 해의 실효성을 반박하는 반례 증명을 제시했지만, 자신과 《Odd Lots》 진행자는 두 번째…