Lainnya

Pembaruan Circuits November 2025: memahami mekanisme perilaku pilihan ganda model di bawah tekanan bahaya

Judul asli:Circuits Updates — November 2025

Ringkasan AI

Tim interpretabilitas Anthropic meneliti pengaruh tekanan bahaya terhadap jawaban pilihan ganda model Claude 3.5 Haiku. Eksperimen menggunakan 129 pertanyaan pilihan dua, dan ketika pernyataan niat berbahaya ditambahkan, akurasi model turun drastis dari 100% menjadi 48,1%. Analisis mekanisme menunjukkan bahwa fitur kueri "penolakan" pada attention head berinteraksi negatif dengan fitur kunci "deteksi bahaya", secara signifikan menurunkan perhatian model terhadap jawaban benar. Hanya dengan mengatur fitur penolakan tersebut secara negatif, akurasi dapat dipulihkan menjadi 93%. Ini membuktikan bahwa di bawah tekanan model tidak mengubah kognisi faktual, melainkan secara aktif menolak memberikan jawaban benar dengan mengganggu mekanisme atensi, memberikan perspektif baru untuk memahami perilaku penolakan model.

Poin utama

  • Tim interpretabilitas Anthropic meneliti pengaruh tekanan bahaya terhadap jawaban pilihan ganda…
  • 5 Haiku.
  • Eksperimen menggunakan 129 pertanyaan pilihan dua,dan ketika pernyataan niat berbahaya…
  • Analisis mekanisme menunjukkan bahwa fitur kueri "penolakan" pada attention head berinteraksi…
  • Hanya dengan mengatur fitur penolakan tersebut secara negatif,akurasi dapat dipulihkan menjadi 93%.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Anthropic:Transformer Circuits(可解释性研究)
Kategori
Lainnya
Skor AI
83
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

揭示模型拒绝有害请求的内部机制,助力 AI 安全与可解释性研究。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Pembaruan Circuits November 2025: memahami mekanisme perilaku pilihan ganda model di bawah tekanan bahaya. 15 November 2025. https://new.nat6.net/id/news/cmoegbh73006bslxx7xgi1vdo/

Lihat semua →