Test ng Answer.AI sa Devin: 3 lang sa 20 task ang nagtagumpay, kaduda-duda ang autonomous coding
Orihinal na pamagat:Thoughts On A Month With Devin
AI summary
Nagsagawa ang team ng Answer.AI ng isang buwang malalim na pagsubok sa AI software engineer na Devin. Bagama't katanggap-tanggap ang performance nito sa mga simpleng task tulad ng API integration, naging disappointing ang resulta nang palawakin sa 20 totoong task kabilang ang paglikha ng bagong proyekto, research at pagbabago ng code: 3 lang ang nagtagumpay, 14 ang nabigo, at hindi mahulaan ang pattern ng tagumpay at kabiguan. Madalas na napupunta ang Devin sa technical dead ends, gumagawa ng sobrang kumplikadong "spaghetti code", o nagha-hallucinate at nagsasayang ng maraming oras sa mga imposibleng task. Sinabi ng artikulo na mas mababa ang aktwal na performance nito kaysa sa inaasahan sa promosyon at mahirap itong ipalit sa human developers.
Mahahalagang impormasyon
- Nagsagawa ang team ng Answer.
- AI ng isang buwang malalim na pagsubok sa AI software engineer na Devin.
- Bagama't katanggap-tanggap ang performance nito sa mga simpleng task tulad ng API…
- Madalas na napupunta ang Devin sa technical dead ends,gumagawa ng sobrang kumplikadong "spaghetti…
- Sinabi ng artikulo na mas mababa ang aktwal na performance nito kaysa sa inaasahan sa promosyon at…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Answer.AI 官方研发博客(RSS)
- Kategorya
- Mga Opinyon at Komentaryo
- AI na marka
- 78
来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Test ng Answer.AI sa Devin: 3 lang sa 20 task ang nagtagumpay, kaduda-duda ang autonomous coding. 8 Enero 2025. https://new.nat6.net/fil/news/yu0x1iq7drpkrq8fsc6ydk4cb/