Cognition publica el informe técnico de Devin en SWE-bench
Título original:SWE-bench technical report
Resumen de IA
Cognition publica el informe técnico de Devin en SWE-bench: Devin resolvió 79 problemas de un conjunto de 570 pruebas seleccionadas aleatoriamente, con una tasa de éxito del 13,86%, superior al 4,80% de Claude 2, la línea base asistida más potente hasta entonces, y al 1,96% de la configuración sin asistencia.
Puntos clave
- Cognition publica el informe técnico de Devin en SWE-bench: Devin resolvió 79 problemas de un…
- con una tasa de éxito del 13
- superior al 4,80% de Claude 2,la línea base asistida más potente hasta entonces,96% de la…
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Cognition 模型 / Devin 博客(网页)
- Categoría
- Artículos e investigación
- Puntuación IA
- 68
Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Cognition publica el informe técnico de Devin en SWE-bench. 15. marzo 2024. https://new.nat6.net/es/news/s3ow9hpx0t1eg58icse78hr4f/