CISO の問題は、AI が顧客データを扱うべきかどうかではありません。それは、一連の制御によって自律的な行動が監査可能であり、制限されるものとなるのです。これがその連鎖、層ごと、そしてあなたがまだ所有している残留リスクです。
間違った質問と正しい質問
AI エージェントが顧客データを読み取り、推論し、それに基づいて行動することをベンダーが提案すると、セキュリティ組織は本能的に、それを許可すべきかどうかを尋ねます。この枠組みは賢明であるように思えますが、それは間違った質問です。 「AI が顧客データに触れる必要があるかどうか」には、リスクは接触にはないため、擁護できるイエスかノーの答えはありません。これは、モデルがインテントを生成し、そのインテントが実際のレコードに対する実際のアクションになるまでの実行チェーンの中にあります。
CISO が実際に行動できるより良い質問は、自律的な行動を監査可能かつ制限付きにする一連の制御とは何か、ということです。自律性は脅威ではありません。統治されていない自治権です。モデルの出力と顧客レコードへの書き込みの間にあるチェーン内のすべてのリンクに名前を付けることができれば、残留リスクを推論し、所有権を割り当て、防御可能な決定を下すことができます。それができない場合、「責任ある AI」に関する政策言語はあなたを救いません。
この投稿では、多層防御のストーリーとして、その連鎖を端から端まで説明します。各レイヤーは、対応する特定の脅威によって説明され、OWASP が LLM およびアプリケーション リスクに対して使用するカテゴリの種類に大まかにマッピングされます。全体の構成は、NIST AI リスク管理フレームワークの精神に従っています。つまり、AI リスクは継続的なプロセスであり、システムの耐用年数にわたって管理され、再測定されるものであり、調達時に署名する 1 回限りのチェックリストではありません。これらのコントロールでは何が解決できないのかについては、最後に正直に述べます。
レイヤー 1: 実行が検証されているため、幻覚が実行パスになることはありません
エージェント システムにおける最初の最も危険なギャップは、モデルがコマンドのようなものを発行し、ランタイムがそれを従順に実行する瞬間です。言語モデルは確率的ジェネレーターです。最終的には、存在するはずのない文字列が生成されてしまいます。その文字列がそのままシェルやインタプリタに渡されると、幻覚はチェックされない実行パスになります。これは、従来のインジェクションに似たエージェントであり、セキュリティ アーキテクトの目を覚まし続ける脅威です。
私たちの答えは、そもそもモデルの出力を実行可能として扱うことを拒否することです。 AI によって生成されたコマンドは、何かが実行される前に、事前に定義された既知の操作の許可リストである静的コマンド ツリーに対して検証されます。ツリーにないコマンドは実行されず、完全停止します。渡されるコマンドは、制約されたshell=Falseスタイルの実行パスを介してディスパッチされます。ここで、引数は、シェルが再解釈する文字列に連結されるのではなく、個別の構造化パラメータとして渡されます。
その結果、モデルの創造性は、システムが安全に実行する方法をすでに知っている操作の中から選択することに限定されます。新しいものを発明することはできません。幻覚コマンドは、実写になるのではなく、検証境界で失敗して閉じられます。これではモデルが正確になるわけではありません。それはモデルの不正確さを不活性にします。
レイヤー 2: 署名され、整合性がチェックされ、サンドボックス化された拡張機能
エージェント プラットフォームは、拡張性、サードパーティのスキル、機能を追加する拡張機能を活用します。拡張性もサプライチェーンの攻撃対象領域となります。ここでの脅威は 2 つあります。悪意を持って作成された悪意のある拡張機能と、作成者とランタイムの間のどこかで改ざんまたは侵害された正規の拡張機能です。どちらも、チェックなしでロードされると、システムの信頼のもとで実行されます。
私たちは暗号化によってサプライチェーン側に対処します。サードパーティのスキルは Ed25519 で署名され、その整合性は許可される前に SHA-256 で検証されます。署名は証明書失効リストと照合してチェックされるため、署名キーが失効した拡張機能は、たとえ有効であったとしても拒否されます。これにより、出所がわかり、事後に信頼を撤回できるようになります。これは、キーが侵害されたことが判明した場合に重要になります。
出所は必要ですが、署名された拡張機能が実行時に不正に動作する可能性があるため、十分ではありません。したがって、許可された拡張機能は、ファイル システム、ネットワーク、プロセスを制約する 3 層のランタイム サンドボックス内で実行されます。拡張機能は、参照が許可されているものだけを参照し、到達が許可されているもののみに到達できます。私たちはこの制限について慎重に考えています。サンドボックスは実用的な妥協策であり、爆発半径を大幅に縮小するものであり、完全な隔離を数学的に保証するものではありません。それはコストを増加させ、敵対的な拡張の範囲を狭めます。敵対的な拡張が不可能になるわけではありません。
第 3 層: MCP を介した管理されたツールへのアクセス
エージェントがツールを介して自身の外部に到達して行動する場合、問題はアイデンティティ、認可、およびアカウンティングの 1 つになります。脅威は、エージェントが業務上必要のないツールを呼び出すことができる広範なアクセスです。暴走コストや乱用。エージェントがループしたり、リソースを使い果たすように駆り立てられたりする場合。そして、誰が何をしたかを事後的に再現できないこと。
モデル コンテキスト プロトコルを介したすべてのツール呼び出しは 4 つのポイントで管理されます。テナント キーによって認証されるため、呼び出しには検証可能な ID が伝えられます。これはツールごとに許可されるため、キーを所有しても表面全体が許可されるわけではなく、その ID が許可する特定の操作のみが許可されます。これは、実行ごと、1 日ごと、およびローリング 30 日のウィンドウにわたって適用される予算に基づいて測定され、アクティビティを停止できるキルスイッチを備えているため、誤動作またはハイジャックされたエージェントが無制限のコストやボリュームを静かに使い果たすことはできません。また、証跡自体が新たな機密データ漏洩の場所となることを防ぐため、呼び出しごとに編集して監査されます。
これらを組み合わせると、ツールへのアクセスが暗黙的な機能から、明示的で最小限の権限で責任のある機能に変わります。特に、バジェットとキルスイッチは、従来のアクセス制御が完全に無視する障害モード、つまり完全に権限を与えられているにもかかわらず、何も停止するように指示されなかったために大規模に不正行為を行うエージェントに対処します。
第 4 層: モデルからではなく、セマンティック層からの数値
エージェント分析におけるさらに微妙な脅威は、捏造されたメトリクスです。モデルにコホートのパフォーマンスを尋ねると、正しく見える、完全に発明された数値が喜んで生成されます。マーケティングやリテンションの文脈では、自信を持って間違った数字が、モデルが作り上げたものに気づく前に、実際の意思決定、予算の変更、キャンペーン、取締役会のスライドを推進する可能性があります。
私たちはフィギュア制作のビジネスからモデルを取り除くことでこれを終わらせます。メトリック番号は、認定されたセマンティック レイヤー、各メトリックに定義、既知の計算、テナント スコープのクエリ パスが含まれる管理されたカタログから取得されます。エージェントの役割は、指標を要求し、結果を説明することです。数値自体を導き出すことはできません。システムが GMV、アクティブなメンバー、または引き換え率を報告する場合、その値は、もっともらしいトークン シーケンスではなく、実際のデータに基づく認定された定義にまで遡ります。
これは、ビジネスへの影響を正確に測定できる点でもあります。 McDonald's China のメンバー帰属 GMV が約 5% から 85% に増加しているなどの結果を指摘できます。これはまさに、その数値がモデルの推測ではなく、定義された監査可能な指標に基づいているためです。捏造を防ぐ規律は、実際の結果を信頼できるものにする規律と同じです。
第 5 層: スタック全体のプロパティとしてのテナント分離
テナント間の漏洩、つまりある顧客のデータが別の顧客のセッションに現れることは、信頼を永久に終わらせる障害です。また、単一のチェック漏れが原因で発生することもまれです。それはコンポーネント間の継ぎ目から現れ、そこでは、ある層が別の層に、実際には誰も強制しなかった境界が強制されたと想定されます。
したがって、絶縁は単一のゲートではなく、複数の層で同時に強化される特性として扱われます。認証コンテキストは、すべてのリクエストでテナントを伝えます。クエリはスコープが設定されているため、データ アクセスは構造によってテナントにフィルタリングされます。キャッシュはパーティション化されているため、あるテナントのキャッシュされた結果を別のテナントに提供することはできません。また、セマンティック レイヤーでの読み取りアクセスは、許可ベースの読み取り専用ビューを介して仲介されるため、分析クエリであっても、アプリケーション コードだけではなく、データベース独自のアクセス許可モデルによって制約されます。
これらを重ねることのポイントは、単一のバグが侵害にならないということです。ここでの多層防御は、それ自体のための冗長性ではありません。それは、どの境界も間違って実装される可能性があること、およびテナント間の漏洩のコストは、間違いを乗り越えることを正当化するのに十分に高いということを認識することです。
第 6 層: 結果的なアクションに対する人間の承認ゲート
最後のリンクは意図的に自動化されていません。読書、分析、草案作成、提案は自律的に行うことができます。アクティベーションとは、顧客に接触したり支出を約束したりする結果的なアクションであり、人間の承認ゲートを通過します。権限とコンテキストを持った人が、エージェントが何をしようとしているのかを検討し、それを出荷するかどうかを決定します。
これは自動化が信頼できないという告白ではありません。それは責任をどこに置くべきかについての設計上の選択です。決定によっては、たとえどれほど適切に管理されていたとしても、組織が確率論的なシステムに決して委任すべきではない結果が生じることがあります。人間をアクティベーションゲートに留めておくということは、責任を負う可能性のある人物で連鎖が終わることを意味します。これはまさに規制当局、取締役会、またはインシデントレビューが求める特性です。
承認ゲートにはゴムスタンプという独自の失敗モードがあることに注意してください。承認者が読まずにクリックするゲートは劇場です。ゲートの強度はその背後にあるレビューと同じくらい強く、それ自体は組織が所有および監査する必要があるコントロールであり、プラットフォームがユーザーに代わって保証できるものではありません。
あなたがまだ抱えている残留リスク
検証済みの実行、署名とサンドボックス化された拡張機能、ガバナンスされたツールアクセス、認証済みメトリクス、階層化されたテナント分離、そして人間の承認といった、チェーン全体を詳細に記述することで、各レイヤーが特定の脅威に対処し、単一の障害が壊滅的な事態に発展しない、多層防御体制を構築できます。すべてのリンクが監査可能で境界が明確であるため、CISOが実際に承認できるガバナンス可能な自律性を実現できます。
私たちはリスクがないとふりはしません。コントロールによりリスクが軽減されます。彼らはそれを排除しません。サンドボックスは実用的な妥協策であり、完全な分離ではありません。ホワイトリストは維持する必要があり、維持しないと古くなってしまいます。規律が失われると、承認ゲートはゴム印に変わります。失効リストは、最新のものである場合にのみ役に立ちます。そして、NIST の枠組みが正しいのは、AI リスク管理が継続的なプロセスであるという点について正直であるためです。脅威モデルは変化し、モデルが変更され、拡張機能が追加されますが、その保証は再測定を続ける意欲によってのみ決まります。これを完了したチェックリストとして扱う日は、姿勢が崩れ始める日です。
あなたに残るもの、どのプラットフォームもあなたに代わって所有できないものは明らかです。どのような自律性が許可されるのかに関するポリシー、承認ゲートに人員を配置し、承認内容を実際に読み取る人々、ホワイトリストと取り消しリストの保守、ログを説明責任に変える継続的な監査です。私たちの仕事は、すべてのリンクが検査可能なチェーンを提供することです。あなたの仕事はそれを統治することです。独自の脅威モデルに対してチェーンをたどり、ゲートがどこに属するかを決定したい場合は、デモを予約して、最も難しい質問を持ち込んでください。
関連情報
このページに最も関連するページを引き続き探索してください。
パイプラインはループではありません: なぜ「蓄積」だけが保持を複雑にするのか
ほとんどのマーテックは一方向のパイプラインを実行し、それをループと呼びます。違いは 1 つのノード (ライトバック) であり、それがコピーできるスタックとコピーできない利点の違いです。
続きを読む 記事AI 用 SaaS: ソフトウェアの主ユーザーが個人ではなくエージェントである場合
「AI のための SaaS」は、スローガンではなく、正確なアーキテクチャ上の主張です。エージェントが主要な消費者である場合、製品はガバナンスになります。誰が、誰に代わって、どのような費用で行動できるかということです。
続きを読む 記事1 つの語彙、2 つの対象者: AI とダッシュボードがセマンティック レイヤーを共有する必要がある理由
ツールはエージェントが使用する動詞です。意味層は、動詞を正直に保つための共有語彙です。一度構築すれば、そこから人々やエージェントにサービスを提供できます。数字は誰が尋ねても同じことを意味します。
続きを読む 記事MCP はコネクタではありません — エージェント時代のガバナンス サーフェイスです
ほとんどの報道では、モデル コンテキスト プロトコルを配管として組み立てています。より重要な企業の再構成: MCP は、AI ツールの使用に関する ID、承認、ロギング、コスト管理が決定される単一の監査可能な場所です。
続きを読む 記事Claude Code および Slack から顧客プラットフォームを実行します
ロック解除はダッシュボードを高速化するものではありません。これは別の運用モデルです。つまり、チームがすでに使用している AI ツール内に管理されたエージェントがあり、データをエクスポートしたり制御を放棄したりすることなく、平易な言葉で応答して行動します。
続きを読む 記事1 つのアイデンティティ、1000 の会話: ハイパーパーソナライゼーションの時代におけるブランド ボイス
ブランドの統一性のないパーソナライゼーションはブランド外のノイズです。パーソナライゼーションのない固定されたアイデンティティは、無関係なブロードキャストです。フロンティアは両方を同時に保持しています。
続きを読む