セキュリティ

生成AIの情報漏洩はどこで起きるのか。経路を全部挙げる

生成AIの情報漏洩はどこで起きるのか。経路を全部挙げる

「AIを使うと情報が漏れる」——AI導入が止まる理由として、これが最も多く挙がります。

ただ、この形のまま議論すると結論が出ません。漏れる場所を分けずに話しているからです。分解すると経路は6つしかなく、しかも最も心配されている経路の危険度が、実際にはいちばん低いのです。

経路は6つしかない

危険度の一覧

危険度 経路 実態
1. 入力が学習に使われる 法人向けなら原則使われない
2. 社員が個人アカウントで使う 会社から見えない。最も現実的
3. 社内での越権参照 権限設計を誤ると起きる
4. 出力を人が外に出す 技術では防げない
5. AI議事録・文字起こし 相手が入れたツールが盲点
6. 非公式なツール・拡張機能 データの扱いが評価できない

最も心配される経路が、実は最も危険度が低い

会議で議論されるのは、ほぼ経路1です。「入力した内容が学習に使われるのではないか」。

ところが企業向けに提供されているサービスの多くは、既定で学習に使いません。契約条件を確認すれば済む話で、確認すれば消える論点です。

一方、高リスクの2・3・6はほとんど議論されません。どれも「AIそのもの」ではなく「使われ方が管理されていないこと」に起因するためで、AIの是非を論じている場では話題に上がらないのです。

議論が止まっている会社は、たいてい経路1で止まっている

セキュリティを理由にAI導入が止まっている場合、ほとんどが経路1の議論です。「いまどの経路の話をしているか」を明示するだけで、議論は進みます。

外部に出るのは2つだけ

6つを性質で分けると、構造が見えます。

  • 社外にデータが出る——経路1・6(サービス提供者に渡る)
  • 社内で越境する——経路3(見えないはずの人に見える)
  • 人が持ち出す——経路2・4・5(技術ではなく運用の問題)

3つ目の分類が最も大きく、しかも技術で防げません。ツール選定だけを議論しても、ここは減りません。

経路1:入力が学習に使われる

利用形態で条件が変わる

可否 利用形態 学習利用 備考
法人向けプラン 原則なし 契約条件の確認は必要
API経由 原則なし ——
無料の個人向けプラン 使われることがある 設定で変更できる場合もある
ブラウザ拡張・非公式ツール 不明なことが多い 最も危険

つまり「AIが危ない」のではなく「どの経路で使っているかが管理されていないことが危ない」のです。

評価ボタンという例外

ここが見落とされます。法人契約で「学習に使わない」となっていても、サービスによっては評価機能(良い/悪いのボタン)を押した会話が学習に利用される場合があり、データが長期間保存されることがあります。

つまり、契約で守られているつもりでも利用者の操作ひとつで例外に入ることがあります。管理者設定で無効化できる場合があるので、契約中のサービスの仕様を確認してください。規程に「評価ボタンを押さない」と明記しておくのも有効です。

学習利用と保持期間は別の話

もう一つ混同されやすい点です。「学習に使わない」ことと「保存しない」ことは別です。

多くのサービスは、不正利用の監視や障害対応のために、入力内容を一定期間保持します。学習には使わないが、サーバーには残っている——という状態は普通にあります。

実際の記載を見ると、この2つが別々に書かれているのが分かります。OpenAIのAPIの場合はこうです。

As of March 1, 2023, data sent to the OpenAI API is not used to train or improve OpenAI models (unless you explicitly opt in to share data with us).

(2023年3月1日以降、OpenAI APIに送信されたデータはモデルの学習・改善に使われない。ただし明示的にオプトインした場合を除く

— OpenAI / Data controls in the OpenAI platform

By default, abuse monitoring logs are generated for all API feature usage and retained for up to 30 days, unless longer retention is required by law, or is reasonably necessary to protect our services or any third party from harm.

(既定では、すべてのAPI利用について不正利用監視のログが生成され、最大30日間保持される。法令上より長い保持が求められる場合、またはサービスや第三者を害から守るために合理的に必要な場合を除く)

— 同上

「保持ゼロ」は既定ではなく、申請して承認されるもの

保持をゼロにする仕組み(Zero Data Retention)や、監視ログから内容を除外する仕組み(Modified Abuse Monitoring)は用意されています。ただし公式には次のように書かれています。

Currently, these controls are subject to prior approval by OpenAI and acceptance of additional requirements.

(現時点でこれらの制御は、OpenAIの事前承認と追加要件への同意が必要)

「設定で切れる」ものではありません。取引先に「保持していません」と答える前に、自社が承認を得ているかを確認してください。

人が見る場合がある、と明記されている

公式には、分類器がポリシー違反の可能性を検知した内容について we may retain and human review customer content(保持したうえで人がレビューする場合がある)と書かれています。

Microsoft側にも同種の記載があり、Azure OpenAI では人によるレビューを含む不正使用の監視が利用できる一方、Microsoft Copilot サービスはそれをオプトアウトしているとされています。

同じ基盤でも、どの製品として使うかで人が見るかどうかが変わります。「OpenAIを使っている」だけでは答えになりません。

確認すること なぜ効くか
保持期間はどれだけか 「30日」なのか「無期限」なのかで評価が変わる
管理者が変更できるか ゼロにできる場合があるが、事前承認が要ることが多い
保存先のリージョンはどこか 取引先から聞かれることがある
人間によるレビューの有無 公式に「人がレビューする場合がある」と書かれていることがある

学習利用そのものの確かめ方は入力データが学習に使われるかをどう確認するかにまとめています。取引先から照会が来たときに答えるのは、学習利用ではなくこちらです。「学習には使われません」だけでは、相手が知りたいことに答えていません。

確認すべきは3点

  1. 契約プランは法人向けか——個人向けとは条件が異なる
  2. 入力データが学習に使われないと明記されているか——公式ドキュメントで確認する
  3. 評価機能が例外になっていないか——なっている場合、無効化できるか

この3点が確認できれば、経路1は論点として閉じます。閉じた論点を持ち越さないことが重要です。

経路2:社員が個人アカウントで使っている

禁止すると、見えない場所で使われる

実務上、最も現実的なリスクです。会社がAIの利用を禁止しても、社員は個人のスマートフォンやアカウントで使います。

禁止して起きるのは、利用がゼロになることではない

起きるのは「会社から見えないところで使われる」ことです。会社が把握できない状態は、許可して管理している状態より危険です。

禁止と黙認の中間はありません。禁止するなら実効性のある禁止が必要で、それができないなら、管理された利用を提供するほうが安全です。

実態の把握から始める

ここで多くの会社がつまずきます。「誰が何を使っているか」を聞いても、正直な答えが返ってこないのです。

理由は単純で、答えると処分されると思われているからです。先に一文を伝えてください。

これまでの利用について責任を問うことはありません。これからのルールを決めるために聞いています。

そして、すでに個人アカウントで使っていた人は、社内で最も詳しい人であることが多いのです。処分の対象にするのではなく、ルール策定に巻き込んだほうが現実的な内容になります。

提供するほうが安全

把握できたら、会社として使えるものを用意します。「使ってよいものが無い」状態のまま規程だけ作っても守りようがありません。

法人契約を1つ用意して、それ以外を使いたい場合の申請窓口を設ける。申請できる先がないと、必要に迫られた人はまた隠れて使います。

見落とされやすい経路を、規約の側から確認しました

OpenAI は「オプトインのフィードバック機構などを通じて明示的に共有したデータは、モデルの学習に使用することがある」と明記しています。評価ボタンがそれに当たります。4社中1社だけがこうなっている、という違いを表にしています。

経路3:社内での越権参照

外部漏洩より起きやすい

社内データと連携する構成では、この経路が生まれます。人事情報、与信情報、他部署の商談メモ。権限設計を誤ると、AIが「その人には見えないはずの情報」を答えます。

これは外部への漏洩ではなく社内での漏洩です。ニュースにならないぶん話題になりませんが、実際に発生しやすいのはこちらです。

AIが可視化するのは、もともとあった穴

重要な点として、これはAIが作った問題ではありません。権限設定の不備は前からあって、誰も検索しなかったから表面化していなかっただけです。

AIは、その組織の共有設定を忠実に反映します。「リンクを知っている全員」で共有されたフォルダがあれば、AIはそれを参照できる情報として扱います。AI導入をきっかけに棚卸しできる、と考えるほうが実態に合います。

棚卸しの3項目

権限の引き継ぎ方式を決める前に、これを確認してください。

  1. いまの権限設定は正しい状態か——退職者・終了案件のアクセス権が残っていないか
  2. 「リンクを知っている全員」が広範囲に使われていないか——共有の既定値も確認する
  3. 共有フォルダに、本来限定すべきものが混ざっていないか——人事・与信・単価表

ここを飛ばして連携を組むと、公開範囲の広い情報がそのまま回答に出ます。

経路4〜6:技術で防げないもの

経路4:出力を人が外に出す

見落とされがちです。AIが生成した文章に社内情報が含まれたまま、社外向けの資料やメールに使われる。この場合、漏らしているのはAIではなく人です。

技術で防ぎきれないため、出力の検証を誰がやるかを決めるしかありません。「社外に出すものは必ず人が確認する」を規程に明記してください。確認の観点を分けておくと、実際に確認されるようになります(正確性・妥当性・一貫性・説明可能性)。

経路5:AI議事録・文字起こしツール

近年増えている経路です。会議に自動参加して録音・文字起こしするツールは便利ですが、確認すべきことがあります。

  • 取引先との会議に、相手の同意なく入っていないか
  • 録音データがどこに保存されるか
  • 他社の担当者が導入したツールが、自社の会議に入ってきていないか

盲点は3つ目

自社が規程を整えても、相手が入れたツールが会議に参加していることがあります。会議の冒頭で「録音ツールは入っていますか」と確認する運用を決めておくと安全です。

経路6:非公式なツール・拡張機能

ブラウザ拡張、無料の要約サービス、出所の不明なアプリ。これらはデータの扱いが公開されていないことが多く、評価そのものができません。

「評価できないものは使わない」という単純なルールが最も実効性があります。使ってよいツールを列挙する方式(ホワイトリスト)のほうが、禁止事項を列挙するより運用しやすい。禁止列挙は書ききれず、新しいサービスは毎月出てきます。

非公式ツールの見分け方

「評価できないものは使わない」と決めても、何を評価するのかが決まっていないと運用できません。次の4つが公開されていなければ、評価不能として扱ってください。

  1. 運営者が誰か——法人名と所在地。個人開発でも明記されていれば判断材料になる
  2. 入力データの扱い——学習利用と保持期間が書かれているか
  3. 接続先——どのAIモデルに送っているか。書いていないものが多い
  4. 問い合わせ窓口——何かあったときに連絡できるか

ブラウザ拡張は特に注意が必要です。拡張機能は閲覧しているページの内容を読み取れる権限を持つことがあり、AIとは関係ないページの情報まで扱える場合があります。インストール時に要求される権限を確認してください。

無料で高機能なものほど、確認が要る

費用がかからないなら、どこかで別の形の対価が発生しています。広告なのか、データなのか、単に個人の善意なのか。そこが読み取れないものは、業務では使わない判断でよいと思います。

どこから手をつけるか

優先順位

危険度と着手のしやすさで並べると、順番が決まります。

1

経路1を確認して閉じるまずここ

契約プラン・学習利用の明記・評価機能の例外。3点確認すれば論点として終わります。ここが開いたままだと、他の議論に進めません。

2

経路2の実態を把握する効果が大きい

誰が何を使っているか。過去を問わない前提で聞きます。

ここを飛ばして規程だけ作る会社が多いのですが、実態を知らずに書いた規程は現場とずれます。そして守られない規程は、無いのと同じです。

3

使ってよいツールを1つ用意する

経路2と6の両方が同時に減ります。申請窓口もあわせて用意してください。

4

権限の棚卸しをする

経路3の対策。社内データと連携する前に必ず。連携しないなら後回しで構いません。

5

運用ルールを明文化する

経路4・5の対策。社外に出す文書の確認、会議冒頭での録音ツール確認。

1と2を先にやると、残りの議論がかなり整理される

最初の30日でやること

  • 契約中のサービスの利用規約を1回読む——学習利用と評価機能の扱い
  • 実態を聞く——過去を問わないと明言したうえで
  • 共有設定を1回見る——「リンクを知っている全員」がどれだけあるか

どれも道具を買わずにできます。そして、ここまでで危険度「高」の3経路のうち2つに手が届きます。

規程に落とす

把握と整備が済んだら、文書にします。順番が逆になっている会社が多いのですが、実態を知る前に書いた規程は使われません。

最低限、次の6項目が決まっていれば規程として機能します。入力してよい情報/使ってよいツール/出力物の検証/成果物の表示/ログの保存/違反時の対応。A4一枚に収まる分量から始めてください。

自社だと何から手をつけるべきか、3分で分かります

権限の棚卸しが先か、規程の整備が先か。かんたんな設問に答えるだけで診断します。費用はかかりません。


この記事について:学習利用・保持期間・人によるレビューに関する引用は OpenAI「Data controls in the OpenAI platform」、Azure OpenAI の不正使用監視に関する記述は Microsoft Learn「Microsoft Copilot のデータ、プライバシー、セキュリティ」に基づいています。条件はサービスごと・プランごとに異なり更新も速いため、契約前にご自身の契約条件をご確認ください。6経路の分類と危険度の高低は当社が整理したもので、公的な分類ではありません。評価ボタンの扱いはサービスにより異なるため、断定していません。