Makalah penelitian That Sentient benar-benar memaksa saya untuk mempertimbangkan kembali apa arti "kuat" saat kita berbicara tentang metode sidik jari LLM.

Ini hal yang paling sering diabaikan oleh sebagian besar pekerjaan sebelumnya: mereka semua mengasumsikan bahwa host model bermain sesuai aturan. Perilaku baik, respons yang dapat diprediksi, dan sebagainya. Tapi itu bukan cara dunia nyata beroperasi. Setelah Anda memperkenalkan host adversarial ke dalam persamaan—seseorang yang secara aktif mencoba menghindari atau memalsukan sidik jari—banyak dari skema identifikasi ini langsung runtuh.

Teknik-teknik ini terlihat kokoh dalam kondisi laboratorium yang terkendali. Data bersih, skenario kooperatif, semuanya selaras. Tapi ubah ke lingkungan antagonis? Di situlah Anda mulai melihat retaknya. Ini pengingat bahwa kekuatan teoretis dan ketahanan praktis adalah dua hal yang sangat berbeda. Kesenjangan antara "berfungsi saat pengujian" dan "bertahan di bawah serangan" adalah tempat banyak asumsi keamanan secara diam-diam runtuh.