观点与评论

Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑

原文标题:Thoughts On A Month With Devin

AI 摘要

Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。

关键信息

  • Answer.
  • AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。
  • 尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。
  • Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。
  • 文章指出其实际表现远低于宣传预期,难以替代人类开发者

速览

发布时间
更新时间
来源
Answer.AI 官方研发博客(RSS)
分类
观点与评论
AI 评分
78
阅读原文 前往信息源阅读完整正文
推荐理由

来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑。2025年1月8日。https://new.nat6.net/news/yu0x1iq7drpkrq8fsc6ydk4cb/

查看全部 →