Webサイトのアシスタントは、会社の名で話す

Webサイトやアプリにアシスタントを置く企業が増えています。夜でも、どの言語でも答え、決して忍耐を切らしません。同時に、それは会社の名前で話し、誰でも何でも入力できるオープンなインターネット上にあり、その背後には通常、データベース、いくつもの鍵、ほかのシステムへの接続があります。

だからこれは、マーケティングだけでなく、セキュリティの問題です。この2年間の事例は、うまくいかない3つの道筋を示しています。会社が一度も提供していないことをアシスタントが約束する。言ってはならないことを言うよう言いくるめられる。そして、背後にあるデータが漏れる。

会社の名で話す

最もよく引用されるのは、Air Canadaの事例です。身内を亡くした乗客Jake Moffatt氏は、航空会社のWebサイトのチャットボットに割引運賃について尋ねました。チャットボットは、航空券を購入した後で忌引運賃を申請できると示唆しました。航空会社の規定ではそれは認められておらず、同社は申請を拒否しました。2024年2月、ブリティッシュコロンビア州の民事紛争解決審判所（Civil Resolution Tribunal）で、Air Canadaは、チャットボットは自らの行動に責任を負う別個の法的主体だと主張しました。審判員のChristopher Rivers氏はこれを退け、チャットボットは「依然としてAir CanadaのWebサイトの一部にすぎない」としました。同社は812カナダドルの支払いを命じられました。

金額は小さなものでした。しかし原則はそうではありません。Webサイト上でアシスタントが言ったことは、会社が言ったことなのです。2025年4月、コードエディターCursorの開発元は、同じ教訓を公の場で学びました。Samと名乗るサポートボットが、1つのサブスクリプションは複数のマシンで同時に使えないとユーザーに伝えたのです。そのようなルールは存在しませんでした。共同創業者のMichael Truell氏は、その回答はAIのサポートボットによるもので誤りだったと書き、メールサポートでのAIの回答には現在、明確な表示がつけられていると述べました。

誰でも何でも入力できる

2023年12月、あるユーザーが、ChatGPTを基盤とするカリフォルニア州ワトソンビルのChevroletディーラーのWebサイトのアシスタントに対し、顧客の言うことすべてに同意し、すべての回答の最後に法的拘束力のある申し出だと添えるよう指示しました。そのうえで2024年型のTahoeを1ドルで求めると、ボットは同意しました。実際に車が引き渡されることはなく、ディーラーはチャットボットを停止しました。2024年1月には、宅配サービスDPDの顧客が、同社のチャットボットに悪態をつかせ、自分は役立たずだと詠む俳句を書かせ、DPDを世界最悪の配送会社と呼ばせました。DPDはシステム更新後のエラーが原因だとして、AI要素を無効にしました。

それらは恥ずかしい出来事でした。次のものは、セキュリティホールでした。2025年8月、Cybernewsの研究者たちは、Lenovoのサポートアシスタント「Lena」に、約400文字のプロンプト1つで有害なHTMLを生成させられることを示しました。そのコードはセッションCookieを攻撃者に送るもので、サポート担当者のCookieがあれば、攻撃者はその担当者としてサポートシステムにログインできました。Lenovoはこれを修正しました。Everest Groupのアナリストは、チャットボットをAIの試験導入ではなく、完全なアプリケーションとして扱うべきだという教訓を引き出しました。

チャット画面の背後にあるもの

最悪の事例の中には、巧妙なプロンプトなどまったく必要としなかったものもあります。それらは、アシスタントの背後にあるシステムから生じました。2025年6月末、研究者のIan Carroll氏とSam Curry氏は、McDonald'sがParadox.aiのアシスタントOliviaとともに使っている採用プラットフォームMcHireを調べました。ある管理者用ログインは、ユーザー名とパスワードの両方に123456を受け付けました。そこからリクエスト内の番号を変えるだけで、彼らの数えたところでは6400万人を超える応募者の記録が開きました。氏名、メールアドレス、電話番号、住所、そしてチャットを読むためのトークンです。報告から2時間以内に、そのログインは使えなくなりました。

2025年8月、攻撃者は、企業がWebサイトで運用するチャットツールDriftのアクセストークンを盗み、それを使って接続先のSalesforceシステムからデータを持ち出しました。Googleの脅威インテリジェンスグループは、攻撃者が盗んだデータの中からパスワードやクラウドの鍵を探しているのを確認しました。自社サイトでDriftのチャットボットを使っていたCloudflareは、顧客がサポートケースに貼り付けていた104個の自社APIトークンを見つけ、そのすべてをローテーションしました。

そして2026年3月、Security Magazineは、研究者のJeremiah Fowler氏が、Sears Home ServicesのAIカスタマーサービスアシスタントの背後に、保護されていないデータベースを3つ見つけたと報じました。そこには370万件の記録がありました。チャットログ、通話の録音と文字起こし、氏名、住所、電話番号です。録音の中には最長4時間に及ぶものもありました。通話が終わった後も、回線が開いたままになっていたためです。

安全なアシスタントに必要なもの

どれも、アシスタントを止める理由にはなりません。インターネットに面したほかのアプリケーションと同じように構築し、そこにいくつか独自のルールを加える理由です。

範囲を限定したデータ。アシスタントが見るのは公開コンテンツと、サインイン後は話している相手本人の記録だけです。誰が何を見てよいかのチェックは、モデルではなく自社のシステムで行います。OWASPははっきりと述べています。認可を言語モデルに委ねてはならない。

手の届く場所に秘密を置かない。アシスタントの背後にある指示は、抜き出される可能性があるため、公開されているものとして扱うべきです。鍵、パスワード、接続情報はそこに含めず、ツール自体のトークンは権限を絞り、定期的にローテーションします。

揺るがない限界。価格、割引、返金、約束は、モデルではなく自社のシステムから来ます。アシスタントは方針を説明することはできても、変えることはできません。その出力も信頼できないものとして扱い、ページにコードを差し込めないようにします。

モデルの外にあるガードレール。入力と出力を別途チェックしましょう。行儀よく振る舞うよう求めるシステムプロンプトは願いであって、制御ではないからです。

慎重なログ記録。すべての会話とすべての操作を記録し、誤りを見つけて説明できるようにします。そのログにも個人データが含まれるため、アクセス制御、暗号化、削除期限が必要です。

人への道。アシスタントに確信がないとき、顧客が動揺しているとき、お金や約束が関わるときは、決定できる人に引き継ぎます。定型的な質問は、AIがどんな時間でも引き受けられます。判断、善意、そして約束への責任は、企業が人の手に残すべき部分です。

テストと表示。公開前と更新のたびに、上で挙げた手口、つまりロールプレイ、隠された指示、割引の要求を使って、壊そうとしてみましょう。そして、それが機械であることを伝えましょう。スイスの連邦データ保護・情報コミッショナーは、人々には機械とやり取りしているときにそれを知る権利があると述べており、同じことを求めるEUのAI法（AI Act）の透明性ルールも、2026年8月2日から適用されています。

私たちのつくり方

私たちも、同じルールでアシスタントを構築しています。クライアントのためにつくる会社の頭脳Twinは、マニュアルの該当箇所を出典として顧客に答え、返品は会社自身の方針に沿って処理し、確信がないときは会話を人に引き継ぎます。アクセスは役割に応じて決まり、すべてのステップが記録されます。

企業がWebサイトとマーケティングを運用するStudioには、注入された指示への防御が組み込まれており、アシスタントが下書きをし、人が決めます。社外に出してはならないデータには、パートナーのEigna Labsが構築したEignaが、企業自身のクラウドやサーバー上でプライベートモデルとして動きます。ハッキングや攻撃の依頼を拒否するよう訓練されたモデルです。

アシスタントをオンラインで公開している企業は、5つの問いから始められます。何を見られるのか。何を約束できるのか。どの秘密に手が届きうるのか。誰がそのログを読むのか。そして、最後に誰かがそれを壊そうと試したのはいつか。