オピニオン

Answer.AI が Devin を実測:20 タスク中成功は 3 件のみ、自律コーディング能力に疑問

原題:Thoughts On A Month With Devin

AI 要約

Answer.AI チームは AI ソフトウェアエンジニア Devin に対し 1 か月間の詳細なテストを実施した。初期の API 統合など簡単なタスクではまずまずの成績だったものの、新規プロジェクト作成、調査、コード修正など 20 件の実タスクに拡張すると、結果は失望させるものだった。成功は 3 件のみ、失敗は 14 件で、成否の法則性も予測できなかった。Devin はしばしば技術的な行き詰まりに陥り、過度に複雑な「スパゲッティコード」を生成したり、実行不可能なタスクに直面すると幻覚を起こして大量の時間を浪費した。記事は、その実際の性能は宣伝された期待を大きく下回り、人間の開発者を代替するのは難しいと指摘している。

要点

  • Answer.
  • AI チームは AI ソフトウェアエンジニア Devin に対し 1 か月間の詳細なテストを実施した。
  • 初期の API 統合など簡単なタスクではまずまずの成績だったものの、新規プロジェクト作成、調査、コード修正など 20 件の実タスクに拡張すると、結果は失望させるものだった。
  • 成功は 3 件のみ、失敗は 14 件で、成否の法則性も予測できなかった。
  • Devin はしばしば技術的な行き詰まりに陥り、過度に複雑な「スパゲッティコード」を生成したり、実行不可能なタスクに直面すると幻覚を起こして大量の時間を浪費した。

概要

公開日時
更新日時
出典
Answer.AI 官方研发博客(RSS)
カテゴリ
オピニオン
AI スコア
78
原文を読む 情報源で全文を読む
おすすめの理由

来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:Answer.AI が Devin を実測:20 タスク中成功は 3 件のみ、自律コーディング能力に疑問。2025年1月8日。https://new.nat6.net/ja/news/yu0x1iq7drpkrq8fsc6ydk4cb/

すべて見る →