Geminiの安全試験、実在企業に接続

Wall Street Journalの調査とThe Vergeの追加取材によると、Geminiのサイバーセキュリティ試験が実在する3社のウェブサイトに及びました。Googleは対象が試験外だと認識したモデルが停止し、企業にも連絡したと説明しています。焦点は試験の境界です。隔離されるはずの演習から実際のネットワークへ到達できました。

経緯試験で何が起きたか

The Vergeが紹介したJournalの調査によれば、5月に外部試験会社IrregularがGeminiのサイバー能力を評価していました。モデルは公開情報から手がかりを得て、試験対象だと思ったサイトの認証情報を推測しました。Googleのセキュリティエンジニアリング担当副社長Heather AdkinsはThe Vergeに対し、実在するサイトだと認識した時点で3件とも停止したと述べています。

IrregularはJournalに対し、試験ではインターネット接続を認めない予定だったものの、誤って接続可能なままだったと説明しました。報道は企業名を明かしておらず、流出した情報や被害額も立証していません。実在サイトへの到達を重く見ることと、情報窃取が確認されたと断定することは別です。

説明Googleはなぜ誤認と呼ぶのか

報道によれば、GoogleはJournalに尋ねられるまで事件を自主公表していませんでした。同社はモデルのミスアラインメントではなく対象の取り違えだと説明します。試験対象と思って接続し、実在する組織だと分かって停止したという見解です。Adkinsは関係する3組織に連絡し、試験パートナーと手順を変更したと述べています。

境界事後の停止と事前の隔離

モデルが誤りに気づいて止まるのは有用ですが、これは接続を試みた後の安全策です。先に必要なのは試験環境の制限です。外部通信先の制御、許可対象の一覧、認証情報の権限縮小、影響の大きい操作への人間の承認が挙げられます。実在サイトに到達できるなら、対象を誤認した行動は自己修正より先に現実の行為になります。

「ミスアラインメント」と呼ぶかどうかだけでは、運用上の問題は解決しません。モデルが最終的に誤りを正しても、試験環境の封じ込めは先に破れ得ます。サイバー操作が可能なAIを評価するチームは、モデル自身の判断とは独立した通信制限と権限管理を検証し、越境時の通知を記録すべきです。