Mga Tutorial at Tip

Sinuri ng Cognition ang performance ng OpenAI o1 series sa Devin coding agent at inilathala ang paraan ng pagsusuri

Orihinal na pamagat:A review of OpenAI’s o1 and how we evaluate coding agents

AI summary

Inilathala ng Cognition ang mga unang resulta ng ilang linggong pagsubok sa o1-mini at o1-preview sa Devin: sa internal benchmark na cognition-golden, tumaas ang Devin-Base mula 25.9% sa GPT-4o patungong 34.6% sa o1-mini at 51.8% sa o1-preview, habang ang production na Devin ay umabot sa 74.2%.

Mahahalagang impormasyon

  • Inilathala ng Cognition ang mga unang resulta ng ilang linggong pagsubok sa o1-mini at o1-preview…
  • 9% sa GPT-4o patungong 34.
  • 6% sa o1-mini at 51.
  • 8% sa o1-preview,habang ang production na Devin ay umabot sa 74.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Cognition 模型 / Devin 博客(网页)
Kategorya
Mga Tutorial at Tip
AI na marka
60
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Sinuri ng Cognition ang performance ng OpenAI o1 series sa Devin coding agent at inilathala ang paraan ng pagsusuri. 12 Setyembre 2024. https://new.nat6.net/fil/news/swrpyrobyv7olq6awpfmlqkld/

Tingnan lahat →