CISO가 던져야 할 질문은 AI가 고객 데이터에 접근해도 되는지 여부가 아닙니다. 핵심은 자율적인 행동을 감사 가능하고 제한적으로 관리할 수 있는 일련의 통제 체계가 무엇인지입니다. 다음은 그 통제 체계를 단계별로 살펴보고, 여전히 남아 있는 위험을 분석한 내용입니다.
잘못된 질문과 올바른 질문
벤더가 AI 에이전트가 고객 데이터를 읽고, 추론하고, 그에 따라 행동하도록 제안할 때, 보안 부서에서는 본능적으로 "과연 허용해야 할까?"라는 질문을 던지게 됩니다. 이러한 접근 방식은 신중해 보이지만, 사실 잘못된 질문입니다. "AI가 고객 데이터에 접근해야 할까?"라는 질문에는 명확한 예/아니오라는 답이 없습니다. 위험은 데이터에 접근하는 것 자체에 있는 것이 아니라, 모델이 의도를 도출하고 그 의도가 실제 기록에 대한 실제 행동으로 이어지는 실행 과정에 있기 때문입니다.
더 중요한 질문이자 CISO가 실제로 조치를 취할 수 있는 질문은 다음과 같습니다. 자율적인 행동을 감사 가능하고 제한적으로 만드는 통제 체계는 무엇일까요? 자율성 자체가 위협이 아닙니다. 통제되지 않은 자율성이 위협입니다. 모델의 출력과 고객 기록에 기록되는 과정 사이의 모든 연결 고리를 명확히 파악할 수 있다면 잔여 위험을 분석하고, 책임자를 지정하고, 합리적인 결정을 내릴 수 있습니다. 그렇지 못하면 "책임 있는 AI"에 대한 어떤 정책도 당신을 구할 수 없습니다.
이 게시물은 심층 방어 전략의 일환으로 전체 과정을 설명합니다. 각 계층은 OWASP에서 사용하는 LLM(Leading Life Management) 및 애플리케이션 위험 범주와 유사하게, 해당 계층이 해결하는 특정 위협을 중심으로 설명됩니다. 전체적인 구성은 NIST AI 위험 관리 프레임워크의 정신을 따릅니다. 즉, AI 위험은 시스템 수명 주기 동안 지속적으로 관리되고 재측정되는 프로세스이며, 구매 시 한 번 서명하는 체크리스트가 아닙니다. 마지막에는 이러한 통제가 해결하지 못하는 문제에 대해서도 솔직하게 언급하겠습니다.
1단계: 검증된 실행, 따라서 환상은 절대 실행 경로가 아닙니다.
모든 에이전트 시스템에서 가장 위험한 첫 번째 허점은 모델이 명령처럼 보이는 것을 생성하고 런타임이 이를 그대로 실행하는 순간입니다. 언어 모델은 확률 생성기이므로 결국 존재해서는 안 되는 string을 생성할 것입니다. 이 string이 셸이나 인터프리터에 그대로 전달되면, 허상이 검증되지 않은 실행 경로가 됩니다. 이는 고전적인 인젝션 공격의 에이전트 시스템 버전이며, 보안 설계자들이 밤잠을 설치게 하는 위협입니다.
우리의 대답은 애초에 모델 출력을 실행 가능한 것으로 취급하는 것을 거부하는 것입니다. AI 생성 명령은 실행되기 전에 미리 정의된 알려진 작업의 허용 목록인 정적 명령 트리에 대해 검증됩니다. 트리에 없는 명령은 실행되지 않고 완전히 중지됩니다. 전달하는 명령은 제한된 shell=False 스타일 실행 경로를 통해 전달됩니다. 여기서 인수는 쉘이 다시 해석할 문자열로 연결되지 않고 개별적이고 구조화된 매개변수로 전달됩니다.
그 결과, 모델의 창의성은 시스템이 이미 안전하게 수행하는 방법을 알고 있는 작업 중에서 선택하는 것으로 제한됩니다. 새로운 작업을 만들어낼 수 없게 되는 것입니다. 상상 속의 명령은 실제 동작으로 이어지지 않고 유효성 검사 경계에서 실패로 끝납니다. 이는 모델을 올바르게 만드는 것이 아니라, 모델의 부정확성을 무력화시키는 것일 뿐입니다.
2단계: 서명, 무결성 검사, 샌드박스 처리된 확장 프로그램
에이전트 플랫폼은 확장성, 타사 기술 및 기능을 추가하는 확장 기능을 활용합니다. 확장성은 공급망 공격 표면이기도 합니다. 여기서 위협은 두 가지입니다. 악의로 작성된 악의적인 확장과 작성자와 런타임 사이 어딘가에서 변조되거나 손상된 합법적인 확장입니다. 선택되지 않은 상태로 로드된 둘 중 하나는 시스템의 신뢰를 바탕으로 실행됩니다.
저희는 암호화를 통해 공급망 측면을 보호합니다. 타사 스킬은 Ed25519로 서명되고, 승인 전에 SHA-256으로 무결성이 검증됩니다. 서명은 인증서 폐지 목록과 대조하여 확인되므로 서명 키가 폐지된 확장 프로그램은 이전에 유효했더라도 거부됩니다. 이를 통해 출처를 확인할 수 있고, 키가 손상된 것으로 확인될 경우 사후에 신뢰를 철회할 수 있습니다.
출처는 필수적이지만 충분조건은 아닙니다. 서명된 확장 프로그램이라도 런타임에 오작동할 수 있기 때문입니다. 따라서 승인된 확장 프로그램은 파일 시스템, 네트워크, 프로세스를 제한하는 3계층 런타임 샌드박스 내에서 실행됩니다. 확장 프로그램은 허용된 것만 볼 수 있고 허용된 것만 접근할 수 있습니다. 이러한 제한은 의도적인 것입니다. 샌드박스는 실질적인 타협안이며, 공격 범위를 크게 줄이는 수단이지 완벽한 격리를 수학적으로 보장하는 것은 아닙니다. 샌드박스는 악의적인 확장 프로그램의 비용을 높이고 공격 범위를 좁히지만, 악의적인 확장 프로그램을 완전히 불가능하게 만드는 것은 아닙니다.
3단계: MCP을 통한 제어된 도구 접근
상담원이 도구를 통해 외부 기관의 도움을 받을 때, 신원, 권한 및 회계 문제가 발생합니다. 상담원이 권한이 없는 도구를 호출하는 과도한 접근 권한, 상담원이 무한 루프에 빠지거나 리소스를 고갈시키는 경우 발생하는 비용 증가 또는 남용, 그리고 사후에 누가 무엇을 했는지 재구성할 수 없는 문제가 발생할 수 있습니다.
모델 컨텍스트 프로토콜(MCP)을 통한 모든 툴 호출은 네 가지 측면에서 관리됩니다. 첫째, 테넌트 키로 인증되므로 호출에 검증 가능한 신원이 포함됩니다. 둘째, 툴별로 권한이 부여되므로 키를 소유한다고 해서 모든 기능에 접근할 수 있는 것은 아니며, 해당 신원에 허용된 특정 작업에만 접근할 수 있습니다. 셋째, 실행별, 일별, 30일 단위로 적용되는 예산에 따라 사용량이 측정되며, 활동을 중단할 수 있는 킬 스위치가 있어 오작동하거나 탈취된 에이전트가 무분별하게 비용이나 사용량을 증가시키는 것을 방지합니다. 넷째, 호출별로 데이터가 삭제되는 감사 기능이 있어 민감한 데이터 유출의 위험을 방지합니다.
이러한 기능들을 종합하면, 도구 접근 권한을 암묵적인 권한에서 명시적이고 최소 권한 기반의 책임 있는 권한으로 전환할 수 있습니다. 특히 예산 및 킬 스위치 기능은 기존 접근 제어 방식이 완전히 무시했던 실패 모드, 즉 모든 권한을 부여받았음에도 불구하고 아무런 제재 없이 대규모 환경에서 잘못된 동작을 수행하는 에이전트 문제를 해결합니다.
4계층: 모델에서 가져온 숫자가 아닌 의미 계층에서 가져온 숫자
에이전트 기반 분석에서 더욱 미묘한 위협은 조작된 지표입니다. 모델에게 특정 그룹의 성과를 물어보면, 모델은 그럴듯해 보이지만 완전히 조작된 number 값을 기꺼이 제시할 것입니다. 마케팅이나 고객 유지 맥락에서, 확신에 찬 잘못된 수치는 누구도 모델이 조작했다는 사실을 알아차리기 전에 실제 의사 결정, 예산 변경, 캠페인, 회의 자료 발표 등으로 이어질 수 있습니다.
우리는 모델이 수치를 생성하는 역할을 하지 않도록 함으로써 이 문제를 해결합니다. 메트릭 수치는 인증된 시맨틱 레이어, 즉 각 메트릭에 대한 정의, 알려진 계산 방법, 그리고 테넌트 범위의 쿼리 경로가 있는 관리되는 카탈로그에서 제공됩니다. 에이전트의 역할은 메트릭을 요청하고 결과를 설명하는 것이며, number 값을 직접 도출하는 것은 아닙니다. 시스템이 총 상품 거래액(GMV), 활성 회원 또는 사용률을 보고할 때, 해당 값은 그럴듯하게 들리는 토큰 시퀀스가 아니라 실제 데이터에 기반한 인증된 정의에 근거합니다.
이는 비즈니스 영향에 대한 정직한 측정이 가능한 지점이기도 합니다. McDonald's China 회원 기여 총 상품 거래액(GMV)이 약 5%에서 85%로 증가한 것과 같은 결과를 제시할 수 있는 이유는 해당 수치가 모델의 추측이 아닌 정의되고 감사 가능한 지표에서 도출되었기 때문입니다. 조작을 방지하는 규율은 실제 결과를 신뢰할 수 있게 만드는 규율과 동일합니다.
레이어 5: 전체 스택의 속성으로서 테넌트 격리
고객 간 데이터 유출, 즉 한 고객의 데이터가 다른 고객의 세션에 노출되는 것은 신뢰를 영구적으로 무너뜨리는 실패입니다. 이는 단 하나의 검사 누락으로 발생하는 경우가 드물며, 구성 요소 간의 경계에서 발생합니다. 한 계층이 다른 계층이 실제로는 아무도 시행하지 않은 경계를 시행했다고 가정하는 지점에서 이러한 문제가 발생합니다.
따라서 격리는 단일 관문이 아니라 여러 계층에서 동시에 강화되는 속성으로 취급됩니다. 인증 컨텍스트는 모든 요청에 테넌트 정보를 전달합니다. 쿼리는 범위가 지정되어 데이터 접근이 구성 단계부터 테넌트별로 제한됩니다. 캐시는 분할되어 한 테넌트의 캐시된 결과가 다른 테넌트에게 제공되지 않습니다. 또한 시맨틱 계층에서의 읽기 접근은 권한 기반의 읽기 전용 뷰를 통해 이루어지므로 분석 쿼리조차도 애플리케이션 코드뿐만 아니라 데이터베이스 자체의 권한 모델에 의해 제약됩니다.
이러한 요소들을 중첩하는 이유는 단 하나의 버그도 보안 침해로 이어지지 않도록 하기 위함입니다. 여기서 심층 방어는 단순히 중복을 위한 중복이 아니라, 어느 한 경계선이라도 잘못 구현될 수 있으며, 테넌트 간 정보 유출 비용이 매우 높기 때문에 실수가 발생하더라도 보안을 유지할 필요가 있다는 점을 인정하는 것입니다.
6단계: 중대한 조치에 대한 인간의 승인 절차
마지막 단계는 의도적으로 자동화되지 않습니다. 읽기, 분석, 초안 작성 및 제안은 자율적으로 수행될 수 있습니다. 고객에게 직접적인 영향을 미치거나 지출을 발생시키는 실질적인 조치인 활성화는 사람의 승인 절차를 거칩니다. 권한과 상황에 대한 이해를 가진 담당자가 에이전트가 수행하려는 작업을 검토하고 실행 여부를 결정합니다.
이는 자동화를 신뢰할 수 없다는 고백이 아닙니다. 책임이 어디에 위치해야 하는지에 대한 디자인 선택입니다. 일부 결정은 아무리 잘 관리되더라도 조직이 절대 확률론적 시스템에 위임해서는 안 되는 결과를 낳습니다. 활성화 게이트에 사람을 두는 것은 책임을 질 수 있는 사람으로 체인이 끝나는 것을 의미하며, 이는 규제 기관, 이사회 또는 사고 검토가 찾는 자산입니다.
승인 게이트에는 형식적인 승인이라는 실패 요인이 존재합니다. 승인자가 내용을 읽지 않고 클릭만 하는 게이트는 형식적인 절차에 불과합니다. 게이트의 효력은 게이트를 통과하는 검토 과정에 달려 있으며, 이는 플랫폼이 보장할 수 있는 것이 아니라 조직에서 직접 관리하고 감사해야 하는 통제 사항입니다.
여전히 보유하고 있는 잔여 위험
완벽하게 검증된 실행, 서명 및 샌드박스 처리된 확장 기능, 관리되는 도구 액세스, 인증된 메트릭, 계층화된 테넌트 격리, 그리고 사람의 승인을 통해 보안 체인을 구성하면 각 계층이 특정 위협에 대응하고 단일 실패가 재앙으로 이어지지 않는 심층 방어 체계를 구축할 수 있습니다. 모든 연결 고리가 감사 가능하고 제한되어 있기 때문에 CISO가 실제로 승인할 수 있는 관리 가능한 자율성입니다.
우리는 이것이 위험이 전혀 없다고 주장하지 않을 것입니다. 통제는 위험을 줄여줄 뿐, 완전히 제거하지는 못합니다. 샌드박스는 완벽한 격리가 아니라 실질적인 절충안입니다. 허용 목록은 지속적으로 관리해야 하며, 그렇지 않으면 시대에 뒤떨어지게 됩니다. 규율이 무너지면 승인 절차는 형식적인 승인 절차로 전락합니다. 폐지 목록은 최신 상태일 때만 효과적입니다. NIST의 접근 방식이 올바른 이유는 바로 이러한 점을 솔직하게 지적하기 때문입니다. AI 위험 관리는 지속적인 과정입니다. 위협 모델은 변화하고, 기존 모델은 바뀌고, 새로운 기능이 추가되며, 여러분의 안전 보장은 이러한 변화를 지속적으로 재평가하려는 의지에 달려 있습니다. 이를 단순히 완료한 체크리스트처럼 여기는 순간, 여러분의 안전 보장은 무너지기 시작할 것입니다.
귀하에게 남아 있는 것, 어떤 플랫폼도 귀하를 대신하여 소유할 수 없는 것들은 명확합니다. 자율성이 허용되는 정책, 승인 게이트를 담당하고 승인한 내용을 실제로 읽는 사람들, 허용 목록 및 취소 목록의 유지 관리, 로그를 책임으로 전환하는 지속적인 감사 등입니다. 우리의 임무는 모든 링크를 검사할 수 있는 체인을 제공하는 것입니다. 당신의 임무는 그것을 관리하는 것입니다. 자신의 위협 모델에 맞서 체인을 살펴보고 게이트가 속하는 위치를 결정하려면 데모를 예약하고 가장 어려운 질문을 가져오십시오.
관련 자료
이 페이지와 가장 관련성이 높은 페이지를 계속 살펴보세요.
파이프라인은 루프가 아닙니다: '축적'만이 체류 화합물을 만드는 이유
대부분의 마케팅 기술 솔루션은 단방향 파이프라인을 운영하며 이를 루프라고 부릅니다. 차이점은 바로 '되돌림 쓰기'라는 노드 하나에 있으며, 이는 누구나 따라 할 수 있는 단순한 스택과 따라 할 수 없는 차별화된 경쟁력의 차이입니다.
더 자세히 알아보기 기사AI용 SaaS: 소프트웨어의 주요 사용자가 사람이 아닌 에이전트인 경우
"AI를 위한 SaaS"는 슬로건이 아닌 정확한 아키텍처 주장입니다. 에이전트가 주요 소비자가 되면 제품은 누가, 누구를 대신하여, 어떤 비용으로 행동할 수 있는지에 대한 거버넌스가 됩니다.
더 자세히 알아보기 기사하나의 어휘, 두 명의 대상: AI와 대시보드가 의미 계층을 공유해야 하는 이유
도구는 에이전트가 사용하는 동사입니다. 의미 계층은 이러한 동사의 정확성을 유지하는 공유 어휘입니다. 한 번 구축하고 이를 통해 사람과 에이전트에게 서비스를 제공하면 누가 묻든 number는 동일한 의미를 갖습니다.
더 자세히 알아보기 기사MCP는 커넥터가 아니라 에이전트 시대의 거버넌스 표면입니다.
대부분의 보도에서는 모델 컨텍스트 프로토콜을 단순한 기반 시설로 묘사합니다. 하지만 기업 관점에서 더 중요한 것은 MCP이 AI 도구 사용에 대한 신원 확인, 권한 부여, 로깅 및 비용 관리가 이루어지는 단일 감사 가능 지점이라는 점입니다.
더 자세히 알아보기 기사Claude Code 및 Slack에서 고객 플랫폼을 운영하세요.
이번 잠금 해제는 더 빠른 대시보드가 아닙니다. 완전히 다른 운영 모델입니다. 팀에서 이미 사용하고 있는 AI 도구 내부에 관리형 에이전트가 내장되어 데이터를 내보내거나 제어권을 포기하지 않고도 일반 언어로 답변하고 조치를 취합니다.
더 자세히 알아보기 기사하나의 정체성, 수천 개의 대화: 초개인화 시대의 브랜드 보이스
브랜드 통일성 없는 개인화는 브랜드 정체성을 훼손하는 소음에 불과합니다. 개인화 없는 고정된 정체성은 무의미한 방송일 뿐입니다. 궁극적인 목표는 이 두 가지를 동시에 달성하는 것입니다.
더 자세히 알아보기