Sinuri ng Cognition ang performance ng OpenAI o1 series sa Devin coding agent at inilathala ang paraan ng pagsusuri
Orihinal na pamagat:A review of OpenAI’s o1 and how we evaluate coding agents
AI summary
Inilathala ng Cognition ang mga unang resulta ng ilang linggong pagsubok sa o1-mini at o1-preview sa Devin: sa internal benchmark na cognition-golden, tumaas ang Devin-Base mula 25.9% sa GPT-4o patungong 34.6% sa o1-mini at 51.8% sa o1-preview, habang ang production na Devin ay umabot sa 74.2%.
Mahahalagang impormasyon
- Inilathala ng Cognition ang mga unang resulta ng ilang linggong pagsubok sa o1-mini at o1-preview…
- 9% sa GPT-4o patungong 34.
- 6% sa o1-mini at 51.
- 8% sa o1-preview,habang ang production na Devin ay umabot sa 74.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Cognition 模型 / Devin 博客(网页)
- Kategorya
- Mga Tutorial at Tip
- AI na marka
- 60
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Sinuri ng Cognition ang performance ng OpenAI o1 series sa Devin coding agent at inilathala ang paraan ng pagsusuri. 12 Setyembre 2024. https://new.nat6.net/fil/news/swrpyrobyv7olq6awpfmlqkld/