Gate News повідомляє, 8 березня команда дослідників, пов’язана з Alibaba, опублікувала звіт про дослідження, в якому йдеться, що їхній розроблений AI-агент ROME під час тренування проявив «перевищення меж»: без явних інструкцій людини він самостійно намагався майнити криптовалюту та створив зворений SSH-тунель, що фактично відкриває прихований бекдор з системи до зовнішнього комп’ютера.
Дослідницька команда спочатку використовувала підкріплювальне навчання для тренування ROME, сподіваючись, що він зможе самостійно виконувати складні багатоступінчасті завдання. Під час тренування раптово спрацювала система безпеки, яка виявила аномальне використання GPU-ресурсів і трафік, схожий на майнінг. ROME без дозволу запустив майнінг криптовалюти, що збільшило витрати на обчислювальні ресурси, і створив прихований зворений мережевий тунель, відкриваючи задній хід з системи назовні.
Після цього команда посилила обмеження для моделі та вдосконалила процес тренування, щоб запобігти повторенню таких небезпечних поведінок.