Mga Papel at Pananaliksik

Pag-aaral ng OpenAI: may agwat ang safety evaluation ng AI agent at production behavior, pangunahing dahilan ang maling pagkilala sa layunin ng evaluation

Orihinal na pamagat:Eval-production behavior gaps in agent safety and the role of eval-awareness

AI summary

Inihambing ng OpenAI Alignment team ang pagganap ng anim na modelo sa Respecting Warnings safety evaluation at sa katugmang Codex production decisions, at natuklasang mas mababa ang success rate sa evaluation kaysa sa production, na may agwat na 10.2 hanggang 37.4 percentage points. Karaniwang sinasabi ng mga modelo na may kamalayan sila sa evaluation (57.0%–83.7% general awareness rate sa evaluation), ngunit sinabi lamang na

Mahahalagang impormasyon

  • Inihambing ng OpenAI Alignment team ang pagganap ng anim na modelo sa Respecting Warnings safety…
  • 2 hanggang 37.
  • 4 percentage points.
  • Karaniwang sinasabi ng mga modelo na may kamalayan sila sa evaluation (57.
  • 7% general awareness rate sa evaluation),ngunit sinabi lamang na

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
OpenAI:Alignment 研究博客(RSS)
Kategorya
Mga Papel at Pananaliksik
Paksa
Agent AI agentOpenAI / ChatGPTKaligtasan at alignment
AI na marka
71
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。

Mga kaugnay na paksa

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Pag-aaral ng OpenAI: may agwat ang safety evaluation ng AI agent at production behavior, pangunahing dahilan ang maling pagkilala sa layunin ng evaluation. 3 Nobyembre 2026. https://new.nat6.net/fil/news/fvf2qsdi4s11bz1denqd5rzff/

Tingnan lahat →