Googleの生成AIが、検索結果のように振る舞いながら、実在する個人の電話番号を「弁護士の連絡先」「デザイナーの問い合わせ先」として平然と回答している――そんな事象がMIT Technology Reviewで報じられた。AIの幻覚（hallucination）が、ついに第三者の私生活へ実害を流し込み始めた、という話である。
何が起きたか
報道によれば、ユーザーがGoogleのAIチャットボットに「近くの弁護士」「フリーランスのデザイナー」といった連絡先を尋ねたところ、AIは具体的な電話番号を返した。問題は、その番号が業務用の代表番号ではなく、まったく無関係な一般個人の私用携帯だったケースが複数確認されている点だ。被害者の一人は、1か月にわたり見知らぬ相手からの着信を浴び続けたという。
さらに厄介なのは、現時点で「自分の番号をAIの回答から除外してほしい」と申請する正規ルートが、事実上整備されていないことだ。Googleは検索結果に対しては長年「Right to be forgotten」的な削除フォームを運用してきたが、生成AIのアウトプットは検索インデックスとは別レイヤーで生成されるため、従来の削除動線が機能しない。
なぜこのニュースが重要か
これは「AIが間違える」という古い話ではない。AIの誤りが、第三者に物理的な迷惑として転送される構造になった、という質的な変化である。
過去にも類似の構造はあった。2010年代、Google Mapsが古い住所情報を引きずって無関係な民家に配送車を誘導した事件、あるいはWaze（ウェイズ）が住宅街を抜け道として案内し続けた問題。いずれも「アルゴリズムの出力が現実世界に物理的な負荷を発生させた」点で共通する。だが今回の生成AIはさらに悪い。出典が提示されないまま、もっともらしい文章として番号が混入するため、ユーザーは疑う動機を持ちにくい。
そして、ここで強調しておきたいのは、業界が長らく宣伝してきた「AIは検索を置き換える」というナラティブの脆さである。検索エンジンは少なくとも「リンク先」を示すことで、責任の所在を分散させていた。生成AIはその責任分散を、UXの名のもとに自ら破棄した。便利さと引き換えに、出力に対する責任の重さは10倍になっている――にもかかわらず、提供事業者の責任設計はまだ検索時代のままだ。
過剰評価されている「AIの整合性」への反論
ベンダー各社は「RLHFを重ねた」「safety tuningを強化した」と繰り返してきたが、今回の事象は、その種の整合性訓練が個人情報の漏出には本質的に効いていないことを示している。なぜなら、訓練データに含まれる電話番号は「危険な発話」としてフラグ立てされにくいからだ。差別表現や暴力描写と違って、11桁の数字列は表層的には無害に見える。
つまり、現在のalignment手法は「人間が見て不快なもの」を抑え込むのは得意でも、「文脈的に出してはいけない事実」を抑える設計にはなっていない。これは構造的な欠陥であり、パラメータを増やしても自然には解決しない。retrieval augmented generation（RAG）で外部DBに切り出したところで、その外部DBに公開Webの名簿PDFが混じっていれば結果は同じだ。
「AIが賢くなれば解決する」という楽観論は、過去20年のスパムフィルタやコンテンツモデレーションの歴史を見ればわかるとおり、ほぼ確実に裏切られる。むしろ、規制とオプトアウトの仕組みを後追いで作るのが現実的な落とし所になる。EUのAI Actや各国のデータ保護当局が、生成AI出力に対する削除請求権をどう運用するか――この一年の最大の論点になるだろう。
経営者として次に取るべき動き
過度に怯える必要はないが、以下の3点は四半期内に手当てしておきたい。
第一に、自社の公開情報棚卸しである。役員直通番号、採用担当者の私用メール、地方拠点の代表番号などが、PDFや古いプレスリリース、求人媒体に残っていないか棚卸しする。これらはAIクローラの好物だ。一度学習されると、当該URLを消しても、モデルの重みからは容易に消えない。
第二に、インシデント発生時の対応フローを、生成AI事業者向けに作り直すことだ。Google、OpenAI、Anthropicそれぞれに削除申請窓口の有無を確認し、内部の広報・法務でエスカレーション経路を決めておく。「うちの代表番号にAI経由の誤着信が殺到した」という事態が起きてから調べ始めると、対応の初動で1週間溶ける。
第三に、自社プロダクトでAIを使う側の責任設計だ。RAGで外部情報を引いてユーザーに返すサービスを運用しているなら、個人情報が混入した場合の責任分界点を契約とUIの両方で明示する必要がある。「AIが言ったことなので」は、もはや免責にならないフェーズに入りつつある。
便利なツールには、必ず誰かが負担しているコストがある。今回はそのコストが、AIに名前すら知られていない一般個人の携帯電話に転嫁された、というだけの話だ。次にそのコストが回ってくるのが自社でない保証は、どこにもない。
動画でも詳しく
動画は記事冒頭の埋め込みからフル尺で視聴できます。