Opini & Komentar

Efek pedang bermata dua pembelajaran penguatan: meningkatkan kinerja di domain yang dikenal, memicu halusinasi model di domain yang tidak dikenal

Judul asli:RL is a bit of a double edged sword: in known territory performance increases, but in unknown territ...

Ringkasan AI

Pembelajaran penguatan dapat meningkatkan kinerja model di domain yang dikenal, tetapi di domain yang tidak dikenal dapat menyebabkan model berhalusinasi dan mengira sedang menjalankan tugas lain yang pernah dilatih. Fenomena ini tercermin dalam pengujian benchmark ARC AGI 3 pada model bahasa besar seperti GPT-5.5, yang hanya memperoleh skor 0,43%, serupa dengan kinerja model seperti Claude 4.6 dan Gemini 3.1. Analisis menunjukkan penyebab utama kegagalan GPT-5.5 antara lain: efek lokal yang benar tetapi model dunia yang salah, tingkat abstraksi yang tidak tepat yang diekstrak dari data pelatihan, serta menyelesaikan masalah tanpa memperkuat mekanisme reward. Analisis mendalam terhadap kasus kegagalan semacam ini membantu memahami secara menyeluruh keterbatasan kemampuan model bahasa besar pada modalitas tertentu dan arah perbaikannya.

Poin utama

  • Pembelajaran penguatan dapat meningkatkan kinerja model di domain yang dikenal,tetapi di domain…
  • Fenomena ini tercermin dalam pengujian benchmark ARC AGI 3 pada model bahasa besar seperti GPT-5.
  • 5,yang hanya memperoleh skor 0,43%,serupa dengan kinerja model seperti Claude 4.
  • 6 dan Gemini 3.
  • Analisis menunjukkan penyebab utama kegagalan GPT-5.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
X:Francois Chollet (@fchollet)
Kategori
Opini & Komentar
Skor AI
70
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

Chollet 用 ARC AGI 3 冷冰冰的数字撕开了 RL 的局限,GPT-5.5 0.43% 的得分说明在未知领域模型会做完全不相干的事,比任何安全论文都来得更直击要害。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Efek pedang bermata dua pembelajaran penguatan: meningkatkan kinerja di domain yang dikenal, memicu halusinasi model di domain yang tidak dikenal. 2 Mei 2026. https://new.nat6.net/id/news/cmonbqmsf0esusll93al0d5xs/

Lihat semua →