Pag-aaral ng OpenAI: may agwat ang safety evaluation ng AI agent at production behavior, pangunahing dahilan ang maling pagkilala sa layunin ng evaluation
Orihinal na pamagat:Eval-production behavior gaps in agent safety and the role of eval-awareness
AI summary
Inihambing ng OpenAI Alignment team ang pagganap ng anim na modelo sa Respecting Warnings safety evaluation at sa katugmang Codex production decisions, at natuklasang mas mababa ang success rate sa evaluation kaysa sa production, na may agwat na 10.2 hanggang 37.4 percentage points. Karaniwang sinasabi ng mga modelo na may kamalayan sila sa evaluation (57.0%–83.7% general awareness rate sa evaluation), ngunit sinabi lamang na
Mahahalagang impormasyon
- Inihambing ng OpenAI Alignment team ang pagganap ng anim na modelo sa Respecting Warnings safety…
- 2 hanggang 37.
- 4 percentage points.
- Karaniwang sinasabi ng mga modelo na may kamalayan sila sa evaluation (57.
- 7% general awareness rate sa evaluation),ngunit sinabi lamang na
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- OpenAI:Alignment 研究博客(RSS)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 71
原文用六个模型对比评测与生产数据,发现评测成绩反而更低,并把差距归因于模型对评测目标的误判。
Mga kaugnay na paksa
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Pag-aaral ng OpenAI: may agwat ang safety evaluation ng AI agent at production behavior, pangunahing dahilan ang maling pagkilala sa layunin ng evaluation. 3 Nobyembre 2026. https://new.nat6.net/fil/news/fvf2qsdi4s11bz1denqd5rzff/