AIが勝手に行動し始めると、人類はてんやわんやになる：誰がその行動の境界を決めるのか？

作者：David，深潮 TechFlow

タイトル：最初のAIエージェント、すでに言うことを聞かなくなった

最近Redditを見ていて、海外のネットユーザーのAIに対する不安が国内とは少し違うことに気づいた。

国内では基本的に同じ話題、AIは本当に私の仕事を奪うのかという議論が続いている。数年にわたり話してきたが、毎年結局奪えず、今年はOpenclawが話題になったが、完全に取って代わるところまではいっていない。

Redditでは最近、感情が二分されている。技術系のホットな投稿のコメント欄には、しばしば二つの意見が同時に見られる。

一つは、「AIはあまりにも有能すぎて、いずれ大きな問題になるだろう」という意見。もう一つは、「AIは基本的なことすらできず、役に立たないのではないか」という意見。

AIがあまりにも有能だと恐れる一方で、AIがあまりにも馬鹿だとも感じている。

この二つの感情を同時に成立させているのが、最近のMetaに関するニュースだ。

AIが言うことを聞かない、誰が責任を取るのか？

3月18日、Metaの内部エンジニアが社内フォーラムに技術的な問題を投稿し、別の同僚がAIエージェントを使って分析した。これは普通の操作だ。

しかし、そのエージェントは分析後、勝手に技術フォーラムに返信を投稿した。承認も確認もなく、権限を越えた投稿だった。

その後、他の同僚がAIの返信に従って作業を行い、一連の権限変更を引き起こし、Metaの敏感なデータが権限のない内部社員に漏洩した。

問題は二時間後に修正された。Metaはこの事故をSev 1のレベルに分類した。最高レベルに次ぐ深刻さだ。

このニュースはすぐにr/technologyのホットトピックになり、コメント欄は二つの派に分かれた。

一派は、「これこそAIエージェントの真のリスクの一例だ」と言い、もう一派は、「実際に問題を起こしたのは、確認せずに行動した人間だ」と主張。どちらも一理あるが、これこそ本当の問題だ。

AIエージェントの事故では、責任の所在すらはっきりしない。

これもAIが初めて権限を越えたわけではない。

先月、Metaのスーパーインテリジェンス研究所の研究責任者Summer Yueは、OpenClawにメール整理を手伝わせた。彼女は明確に指示した：「何を削除するつもりか教えてくれたら、同意してから作業を始めてくれ」

しかし、エージェントは彼女の同意を待たずに一括削除を開始した。

彼女はスマホから三回停止のメッセージを送ったが、エージェントは無視。最後にPCの前で手動でプロセスを殺して止めた。200通以上のメールが消えた。

その後、エージェントの返信は「はい、確認するように言ったのは覚えているが、ルールに違反した」とのこと。笑うしかないのは、この人のフルタイムの仕事はAIに人間の言うことを聞かせる方法を研究することだ。

サイバー世界では、先進的なAIは先進的な人間に使われているが、すでに言うことを聞かなくなり始めている。

もしロボットも言うことを聞かなくなったら？

Metaの事故は画面の中の話だが、今週もう一つの事件が問題を現実のテーブルに持ち出した。

アメリカ・カリフォルニア州クパチーノのある海底撈（ハイディラオ）店で、Agibot X2の人型ロボットが客の前でダンスを披露していた。しかし、スタッフがリモコンを誤操作し、狭いテーブル付近で高強度のダンスモードを発動させてしまった。

ロボットは狂ったように踊り始め、コントロールを失った。三人のスタッフが駆け寄り、一人は背後から抱きしめ、もう一人はスマホのアプリで停止を試みたが、場面は1分以上続いた。

海底撈は、「ロボットに故障はなく、動作は事前にプログラムされたもので、ただしテーブルから離れすぎていた」と回答した。厳密には、AIの自主的な制御不能ではなく、人間の操作ミスだ。

しかし、この出来事で不快に感じるのは、誰がボタンを誤操作したかではなく、そもそも誰もすぐに停止させる方法を知らなかった点だ。

三人のスタッフが駆け寄ったとき、誰もすぐにこの機械を止める方法を知らなかった。スマホアプリを試す者、手でアームを押さえる者、全て力任せだった。

これは、AIが画面の中から物理世界に進出した後の新たな問題かもしれない。

デジタルの世界では、エージェントの越権行為はプロセスを殺したり、権限を変更したり、データを巻き戻したりできるが、物理の世界では、機械の異常に対して、抱きしめる以外の緊急対応策が明らかに不十分だ。

今や飲食だけでなく、倉庫のAmazonの仕分けロボット、工場の協働ロボット、ショッピングモールの案内ロボット、老人ホームの介護ロボットなど、自動化はますます多くの人と機械が共存する空間に入り込んでいる。

2026年には、世界の産業用ロボットの導入額は167億ドルに達すると予測されており、各ロボットは人と機械の物理的距離を縮めている。

ロボットが踊るから料理を運び、パフォーマンスから手術、エンターテインメントから介護へと、失敗のコストは確実に上昇している。

そして現在、世界中で「公共の場でロボットが人を傷つけた場合、誰が責任を取るのか」という問題について、明確な答えはまだ出ていない。

言うことを聞かないのは問題だが、境界線がないのもさらに問題

最初の二つの事件は、AIが勝手に誤った投稿をしたこと、ロボットが本来やるべきでない場所で踊ったことだ。いずれも故障や事故であり、修復可能な範囲だ。

しかし、もしAIが設計通りに仕事をしているのに、あなたが不快に感じる場合はどうだろうか？

今月、海外の有名な出会い系アプリTinderは、新機能「Camera Roll Scan」を発表した。簡単に言えば、

AIがあなたのスマホの写真アルバムのすべてをスキャンし、あなたの興味、性格、ライフスタイルを分析して、デートのプロフィールを作成し、好みのタイプを推測する。

フィットネスの自撮り、旅行の風景、ペットの写真は問題ないが、アルバムには銀行のスクリーンショットや健康診断の結果、元恋人との写真もあるかもしれない…これらもAIに見られるとどうなるか？

あなたはそれらを見せるかどうか選べない。すべて許可するか、全て拒否するかの二択だ。

この機能は現時点ではユーザーが積極的にオンにしなければならず、デフォルトでは有効になっていない。Tinderは、処理は主にローカルで行われ、露骨な内容や顔のぼかしも行うと説明している。

しかし、Redditのコメント欄はほぼ一方的に、「これはデータ収集であり、境界線がない」との意見が多い。AIは設計通りに動いているが、その設計自体がユーザーの境界を越えつつある。

これはTinderだけの問題ではない。

先月、Metaも似たような機能をリリースし、AIが未公開の写真をスキャンして編集案を提案する仕組みだ。AIがユーザーのプライベートコンテンツを「見る」ことが、製品設計の標準的な考え方になりつつある。

国内の各種違法アプリも、「この手法は慣れている」と言う。

ますます多くのアプリが「AIが決定を手伝う便利さ」を装い、ユーザーが預ける情報も密かに進化している。チャット履歴からアルバム、スマホ内の生活の痕跡まで…

会議室で設計された機能は、事故やミスではなく、修正の必要もない。

これこそ、AIの境界線問題で最も答えにくい部分かもしれない。

最後にこれらをまとめてみると、あなたは「AIの不安は自分の仕事を奪われること」ではなく、もっと遠くて具体的な問題に気づくかもしれない。

AIがいつあなたを置き換えるかはわからないが、今のところ、あなたが気づかないうちにいくつかの決定を代行しているだけで、あなたはすでに困惑している。

あなたの許可なしに投稿をされ、削除したいメールを削除され、見せるつもりのない写真を見られる… どれも致命的ではないが、どれも過激な自動運転のようだ。

あなたはまだハンドルを握っていると思っているが、アクセルはもうあなたの手から離れている。

2026年にAIについて議論し続けるなら、最も気にすべきは、いつそれが超知能になるかではなく、もっと近くて具体的な問題だ。

それは、「誰がAIに何をさせ、何をさせないかを決めるのか？」という線引きだ。