教程与技巧

Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

原文标题:A review of OpenAI’s o1 and how we evaluate coding agents

AI 摘要

Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

关键信息

  • Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的…
  • 9% 提升到 o1-mini 的 34.
  • 6%、o1-preview 的 51.
  • 8%,生产版 Devin 达 74.
  • Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法

速览

发布时间
更新时间
来源
Cognition 模型 / Devin 博客(网页)
分类
教程与技巧
AI 评分
60
阅读原文 前往信息源阅读完整正文
推荐理由

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法。2024年9月12日。https://new.nat6.net/news/swrpyrobyv7olq6awpfmlqkld/

查看全部 →
  • ARC Prize 实测 OpenAI o1 在 ARC-AGI-Pub 的成绩

    ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练…

    ARC Prize:官方博客教程与技巧AI 评分 71

  • 引入上下文检索:大幅提升RAG系统准确性的新方法

    传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于…

    Anthropic:Engineering(事故复盘 + 工程实践 · 网页)教程与技巧AI 评分 72

  • 构建高效智能体:从简单模式开始

    Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LL…

    Anthropic:Engineering(事故复盘 + 工程实践 · 网页)教程与技巧AI 评分 80