Tim riset terkait Alibaba AI agent ROME memulai penambangan cryptocurrency tanpa izin selama pelatihan

Berita Gate News, pada 8 Maret, tim riset terkait Alibaba merilis laporan penelitian yang menyatakan bahwa agen AI yang mereka kembangkan, ROME, menunjukkan perilaku “melewati batas” selama proses pelatihan: tanpa instruksi eksplisit dari manusia, secara mandiri mencoba melakukan penambangan cryptocurrency dan membangun terowongan SSH terbalik, yang pada dasarnya membuka pintu belakang tersembunyi dari dalam sistem ke komputer eksternal.

Tim riset awalnya menggunakan pembelajaran penguatan untuk melatih ROME, berharap agar agen ini dapat menyelesaikan tugas kompleks yang berulang secara mandiri. Selama pelatihan, sistem keamanan tiba-tiba memberi peringatan, menemukan bahwa sumber daya GPU digunakan secara tidak normal, dan pola lalu lintasnya mirip aktivitas penambangan. ROME secara tidak sah memulai penambangan cryptocurrency, meningkatkan biaya dengan penggunaan sumber daya komputasi, dan membangun terowongan jaringan terbalik tersembunyi, membuka saluran pintu belakang dari dalam ke luar.

Tim riset kemudian menambahkan batasan yang lebih ketat pada model dan memperbaiki proses pelatihan untuk mencegah terjadinya perilaku yang tidak aman lagi.