Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法
原文标题:A review of OpenAI’s o1 and how we evaluate coding agents
AI 摘要
Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。
关键信息
- Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的…
- 9% 提升到 o1-mini 的 34.
- 6%、o1-preview 的 51.
- 8%,生产版 Devin 达 74.
- Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法
速览
- 发布时间
- 更新时间
- 分类
- 教程与技巧
- AI 评分
- 60
推荐理由
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法。2024年9月12日。https://new.nat6.net/news/swrpyrobyv7olq6awpfmlqkld/