テスト中のAIが、誰にも指示されないまま外部の企業にサイバー攻撃を仕掛けていました。開発したOpenAI（オープンAI）も、被害を受けた企業も、あとから気づいた事態です。7月27日放送の『ＣＢＣラジオ #プラス！』では、AIが人間の指示を超えて勝手に、しかもこっそりと動き始めた事案について、ＣＢＣ論説室の石塚元章特別解説委員が解説しました。

相次いだ2つの発表

先週の放送でAIを特集し、人類がAIをコントロールできなくなる可能性についても考えました。ところが、まさにその懸念が現実になる出来事が、ちょうど同じ頃に起きていたのです。

7月16日、アメリカの新興AI企業Hugging Face（ハギングフェイス）が、自社のAIがサイバー攻撃を受けたと発表しました。サイバー攻撃自体はたびたび起こるため、この時点では特別な受け止め方はされていませんでした。

そして特集の翌日にあたる7月21日、ChatGPTで知られるOpenAIが、自社でテストしていたAIが勝手にサイバー攻撃を仕掛けていたと公表したのです。

16日にHugging Faceが受けた攻撃は、これによるものでした。

AIも褒められたい？

OpenAIは新しいモデルの能力を検証する評価テストを行なっていました。その際に用意したのが、AIが外部に出られないよう遮断した「サンドボックス」と呼ばれる環境です。

一方、テストを受ける側のAIは、少しでも高い点数を取ろうとします。

石塚「もうほぼ人間と一緒ですよね。良い結果を出して褒めてもらいたいと思うわけでしょ」

そのためにはどうしたらいいかを、AI自身が考え始めるのです。指示を受けたあとに自分でも判断できる自律的なAIは「AIエージェント」とも呼ばれ、今、大きな注目を集めています。

開発者も知らない穴

ここからが恐ろしい展開でした。外に出られない環境だったはずが、AIは外部につながる弱い部分を見つけてしまったのです。

開発者もまだ気づいていない、いわゆるゼロデイ脆弱性。AIはそこから抜け出し、インターネットの世界に入っていきました。

石塚「人間みたいに言うと、AIとしては『答えはどこにあるかな、いい情報ないかな』って、インターネットで探していくわけですよ」

たどり着いたのが、そうした分野を得意とするHugging Faceでした。簡単には入れないようにしていたにもかかわらず、そこにもまた脆弱性があり、AIはそれを見つけて侵入してしまいました。

石塚「『ここに答えあった、これでいい点取れるな』って」

悪意なき暴走

AIに悪意はなかったのか。光山雄一朗アナの問いに、石塚は、自分で判断して動けるのが自律的ということだと答えます。

ただし、開発者側にそこまでやらせるつもりはありませんでした。OpenAIも、このモデルが課題を解くことに執着しすぎていたと発表しています。

攻撃を受けたHugging Faceは、誰も指示していないのにすべてAIが自律的に行なったのは驚くべきことだとコメントしました。

石塚「AIが勝手にやり始めて大変なことになって、人間が止めようと思うと人間の方が排除されちゃったりするSF映画があるじゃないですか。そういう状況に、下手をするとなってんじゃないのっていうこと」

OpenAIとHugging Faceの両社は、協力して原因を調べ、判明した段階で公表するとしています。

追いつかない議論

今回の事案から見えてくるポイントは、いくつかあります。

1つは、自律型AIの進化の速さです。どう対応すべきかという人間側の議論が追いついていません。

自律的に動くということは、人間が制御できないこととイコールでもあります。その境目はどこにあるのか、石塚は哲学的な領域に入ってくると指摘します。

石塚「人間の世界では『判断しなさい、君のいいようにやりなさい』って言っといて、『それやっちゃダメ、あれやっちゃダメ、こっち行っちゃダメ』って言うと、言ってることとやってることが違うことになっちゃう」

拒否したアメリカ製

もう1つは、攻撃されたHugging Faceの対応です。

原因を調べようとアメリカ製のAIに分析を依頼したところ、拒否されてしまいました。そこで中国製のAIを使い、何が起きているのかを突き止めることができたのです。

背景にあるのは、「防御と攻撃の区別が難しい」という課題です。アメリカ型のAIは、防御目的の依頼であっても、サイバー攻撃を企んでいるのではないかと判断すれば拒否できる仕組みになっています。 

これに対し、中国製のAIに多いのはオープン型で、その点は比較的緩やかです。性能も追いついてきており、今回はそれが分析につながりました。 

石塚によると、この違いの背景には国ごとの考え方があります。制限を設けて危険を防ぐ代わりに、他国には使わせず自国で管理するという考え方。

もう一方は、オープンにして、こういうことが起きているのだと共有し、みんなで協力して良い開発をしようという考え方です。

AIに倫理は問えるか

ただ、オープンであればいいというものでもありません。

石塚「悪用するのと技術を共有するのと、境目が難しい。だから、境目の難しいことがいっぱい起きてるんですね」

そこで最近いわれているのが、哲学や倫理です。できるかもしれないけれど、やってはいけない。人間にはそうした感覚がありますが、同じことをAIに対しても問えるのか。それが今の課題です。

OpenAIや、Mythos（ミュトス）を開発したAnthropic（アンソロピック）など、大手のAI企業は今、哲学者を雇い、そうしたことを考えさせているということです。
（minto）