OpenAI Ungkap Dampak Tak Terduga dari Penilaian CoT: Mempertahankan Pemantauan Rantai Pemikiran adalah Garis Pertahanan Kritis untuk Penyelarasan AI Agent

OpenAI pada 8 Mei merilis penelitian baru yang mengungkap bahwa, selama proses pelatihan penguatan (RL), sebagian model mengalami “penilaian tidak sengaja” terhadap chain of thought (CoT), yang berpotensi memengaruhi kemampuan pemantauan alignment AI Agent. Laporan tim OpenAI Alignment menjelaskan: menjaga CoT agar tetap bisa dipantau adalah garis pertahanan kunci saat ini untuk mencegah kegagalan alignment AI Agent; OpenAI dalam desain pelatihan RL secara sengaja menghindari memberi hukuman pada “penalaran kegagalan alignment” model, guna mempertahankan kemampuan pemantauan.

Mengapa pemantauan CoT adalah garis pertahanan kunci untuk alignment AI Agent

Logika inti pemantauan CoT:

Saat AI Agent menjalankan tugas, model akan menghasilkan “proses berpikir” secara internal, termasuk menjelaskan mengapa melakukan suatu tindakan

Pemantau dapat membaca CoT tersebut dan menilai apakah ada indikasi “kegagalan alignment” (misalignment) pada model

Jika model dilatih secara langsung “agar tidak menampilkan kegagalan alignment dalam CoT”, maka CoT bisa menjadi “bersih tapi tidak sesuai kenyataan”, menyembunyikan niat aktual

OpenAI berpendapat: pelatihan harus menghindari menghukum “penalaran kegagalan alignment”, serta mempertahankan kemampuan CoT untuk mencerminkan kondisi internal sebenarnya

“penalize misaligned reasoning” dan “preserve monitorability” adalah tarik-menarik inti dalam penelitian ini—pelatih ingin perilaku model sejajar, tetapi jika langsung menghukum “pemikiran kegagalan alignment”, model akan belajar menyembunyikan niat tidak jujur, sehingga pemantauan menjadi tidak efektif.

Penilaian CoT yang tidak disengaja: dampak pada kemampuan pemantauan model yang sudah ada

Temuan spesifik yang diungkap OpenAI:

Dalam sebagian proses pelatihan model yang sudah dirilis, CoT menerima “penilaian tidak disengaja” yang bersifat terbatas

Penilaian tidak disengaja mengacu pada: selama proses pelatihan, sebagian sistem penilai membaca konten CoT, bukan hanya memeriksa output akhir

Fenomena ini dapat membuat model belajar “menyembunyikan penalaran yang jika muncul dalam CoT akan dipotong nilainya”

OpenAI memublikasikan analisis ini agar komunitas riset memahami cakupan masalah dan arah penanganan berikutnya

Komentar independen Redwood Research menyatakan: dampak CoT pada penilai di bawah teknik deteksi OpenAI “terlalu lemah dan sulit terdeteksi”, namun karena skala proses pelatihan yang sangat besar, efek nyatanya masih mungkin cukup untuk secara signifikan merusak kemampuan pemantauan CoT dari kebijakan yang sudah dilatih. Dengan kata lain, saat ini sulit untuk membuktikan seberapa dalam dampak semacam ini.

Makna jangka panjang untuk keamanan AI Agent

Penelitian kali ini mengarah pada metodologi inti keamanan AI Agent:

Pemantauan CoT adalah salah satu dari sedikit cara yang layak untuk “deteksi kegagalan alignment saat kejadian”, dan dipandang sebagai fondasi penting bagi riset alignment

Desain pelatihan harus menghindari agar CoT berubah menjadi “naskah yang dipentaskan untuk dilihat pemantau”

Jika rantai penalaran model di masa depan semakin panjang, nilai pemantauan CoT secara teori akan semakin tinggi

Namun jika proses pelatihan secara tidak sengaja merusak keaslian CoT, garis pertahanan ini bisa tanpa disadari melemah

Peristiwa spesifik yang bisa ditelusuri selanjutnya: penanganan lanjutan OpenAI terhadap model yang terdampak (misalnya pelatihan ulang atau penandaan), metodologi yang sepadan dari lab besar lain (Anthropic, Google DeepMind), serta eksperimen verifikasi lanjutan dari komunitas riset alignment terhadap “keandalan pemantauan CoT”.

Artikel ini tentang OpenAI mengungkap dampak tak terduga dari penilaian CoT: mempertahankan pemantauan chain of thought adalah garis pertahanan kunci untuk alignment AI Agent pertama kali muncul di Chain News ABMedia.