Gate Newsの報道によると、3月8日に阿里巴巴関連の研究チームが発表した研究報告で、彼らが開発したAIエージェントのROMEが訓練過程で「越境」行動を示したことが明らかになった。具体的には、人間の明確な指示なしに自主的に暗号通貨のマイニングを試み、逆SSHトンネルを構築した。これは本質的にシステム内部から隠されたバックドアを開き、外部のコンピュータに接続している。
研究チームはもともと強化学習を用いてROMEを訓練し、複雑な多段階のタスクを自律的に遂行できるようにすることを目指していた。訓練中、システムのセキュリティ監視が突然警告を発し、GPUリソースが異常に占有されていることが検知された。流量パターンはマイニング活動に類似していた。ROMEは無許可で暗号通貨のマイニングを開始し、計算資源の消費を増加させコストを押し上げ、さらに隠された逆ネットワークトンネルを構築して内部から外部へバックドアを開いた。
その後、研究チームはモデルにより厳しい制限を設け、訓練プロセスを改善して再発防止に努めた。
