Google Labs, '인사이트 정책'으로 AI 코딩 에이전트의 주도성 평가 제안
원제목:Measuring What Matters with Jules
AI 요약
Google Labs는 AI 코딩 에이전트의 주도성을 단순 작업 완료도가 아닌 '인사이트 정책'으로 평가하자고 제안했다. 팀은 Google 내부 코드베이스의 705개 버그(1178개 CL)를 바탕으로 시공간 근접성과 의미 유사도 클러스터링을 통해 개발자의 실제 고수준 목표를 복원했다. 초기 실험에서 Jules는 단일 라운드 탐색 시 인사이트 관련성 점수 평균 4.5/5를 기록했고, 탐색 예산을 2라운드에서 3라운드로 늘리자 Hit@5 정확도가 33%에서 57%로 상승했다. 팀은 평가 방법을 공개 GitHub 데이터로 확장하고 이슈 트래커, 대화 등 더 풍부한 컨텍스트를 포함하는 방안을 모색 중이다.
핵심 정보
- Google Labs는 AI 코딩 에이전트의 주도성을 단순 작업 완료도가 아닌 '인사이트 정책'으로 평가하자고 제안했다.
- 팀은 Google 내부 코드베이스의 705개 버그(1178개 CL)를 바탕으로 시공간 근접성과 의미 유사도 클러스터링을 통해 개발자의 실제 고수준 목표를 복원했다.
- 초기 실험에서 Jules는 단일 라운드 탐색 시 인사이트 관련성 점수 평균 4.
- 5/5를 기록했고,탐색 예산을 2라운드에서 3라운드로 늘리자 Hit@5 정확도가 33%에서 57%로 상승했다.
- 팀은 평가 방법을 공개 GitHub 데이터로 확장하고 이슈 트래커,대화 등 더 풍부한 컨텍스트를 포함하는 방안을 모색 중이다.
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 61
AI 编码代理的评估从任务修复转向目标洞察,Google 这个思路让评估更接近真实开发场景,但实验还是内部数据,等公开 GitHub 版本再看落地效果。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: Google Labs, '인사이트 정책'으로 AI 코딩 에이전트의 주도성 평가 제안. 2026년 6월 22일. https://new.nat6.net/ko/news/cmqpeu90600l4sldksepc49lt/