Autonomía que puedes controlar: La cadena de seguridad que protege a los agentes inmobiliarios al gestionar los datos de los clientes
Por SocialHub.AI Equipo
La pregunta para el CISO no es si la IA debe acceder a los datos de los clientes, sino qué cadena de controles garantiza que la acción autónoma sea auditable y limitada. Aquí está la cadena, capa por capa, y el riesgo residual que aún tienes.
La pregunta equivocada y la correcta.
Cuando un proveedor propone que un agente de IA lea, analice y actúe sobre los datos de sus clientes, el instinto del departamento de seguridad es preguntar si debería permitirlo. Este planteamiento parece prudente, pero es la pregunta equivocada. La pregunta "¿Debería la IA acceder a los datos de los clientes?" no tiene una respuesta afirmativa o negativa justificable, porque el riesgo no reside en el acceso en sí. Se encuentra en la cadena de ejecución entre un modelo que genera una intención y esa intención se convierte en una acción real sobre registros reales.
La pregunta más pertinente, y aquella sobre la que un CISO puede actuar, es la siguiente: ¿cuál es la cadena de controles que permite auditar y limitar la acción autónoma? La autonomía no es la amenaza. La autonomía sin control sí lo es. Si puede identificar cada eslabón de la cadena que conecta la salida de un modelo con la escritura en el registro de un cliente, podrá analizar el riesgo residual, asignar la responsabilidad y tomar una decisión justificable. De lo contrario, ninguna política sobre "IA responsable" le salvará.
Esta publicación presenta esa cadena de principio a fin, como una historia de defensa en profundidad. Cada capa se describe según la amenaza específica que aborda, asignada libremente a los tipos de categorías que OWASP utiliza para LLM y riesgo de aplicación. El marco sigue el espíritu del Marco de gestión de riesgos de IA del NIST: el riesgo de IA es un proceso continuo, gobernado y remedido durante la vida útil del sistema, no una lista de verificación única que se firma en el momento de la adquisición. Al final seremos honestos sobre lo que estos controles no resuelven.
Capa uno: ejecución validada, por lo que una alucinación nunca es una ruta de ejecución.
La primera y más peligrosa vulnerabilidad en cualquier sistema basado en agentes se produce cuando un modelo emite algo que parece un comando y el entorno de ejecución lo ejecuta sin más. Un modelo de lenguaje es un generador probabilístico; eventualmente, producirá un string que nunca debería existir. Si ese string se pasa a un intérprete de comandos o a un intérprete tal cual, una ilusión se convierte en una ruta de ejecución sin control. Este es el análogo en sistemas basados en agentes de la inyección clásica, y es la amenaza que mantiene despiertos a los arquitectos de seguridad.
Nuestra respuesta es, en primer lugar, negarnos a tratar la salida del modelo como ejecutable. Los comandos generados por IA se validan con un árbol de comandos estático, una lista de operaciones conocidas definidas de antemano, antes de que se ejecute algo. Un comando que no está en el árbol no se ejecuta, punto. Los comandos que pasan se envían a través de una ruta de ejecución restringida de estilo shell=False, donde los argumentos se pasan como parámetros discretos y estructurados en lugar de concatenarse en una cadena que un shell reinterpretará.
El efecto es que la creatividad del modelo se limita a elegir entre operaciones que el sistema ya sabe realizar de forma segura. No puede inventar una nueva. Un comando hipotético falla en el límite de validación en lugar de convertirse en una acción real. Esto no hace que el modelo sea correcto; hace que su incorrección sea inerte.
Segunda capa: extensiones firmadas, con verificación de integridad y en entorno aislado
Las plataformas agentes obtienen su ventaja de la extensibilidad, las habilidades de terceros y las extensiones que agregan capacidades. La extensibilidad también es una superficie de ataque a la cadena de suministro. La amenaza aquí es doble: una extensión maliciosa creada de mala fe y una extensión legítima que ha sido manipulada o comprometida en algún momento entre el autor y el tiempo de ejecución. Cualquiera de los dos, cargado sin control, se ejecuta con la confianza del sistema.
Abordamos la cadena de suministro con criptografía. Las Skills de terceros se firman con Ed25519 y su integridad se verifica con SHA-256 antes de su admisión. Las firmas se comparan con una lista de revocación de certificados, por lo que una extensión cuya clave de firma haya sido revocada se rechaza incluso si alguna vez fue válida. Esto le brinda trazabilidad y la capacidad de retirar la confianza a posteriori, lo cual es importante cuando se descubre que una clave está comprometida.
La procedencia es necesaria, pero no suficiente, ya que una extensión firmada aún puede comportarse de forma anómala en tiempo de ejecución. Por lo tanto, las extensiones admitidas se ejecutan dentro de un entorno aislado de tres capas que restringe el sistema de archivos, la red y el proceso. Una extensión solo ve lo que tiene permitido ver y solo puede acceder a lo que tiene permitido acceder. Somos conscientes de las limitaciones de esto: el entorno aislado es una solución práctica de compromiso, una reducción significativa del alcance de las amenazas, no una garantía matemática de aislamiento perfecto. Aumenta el costo y limita el alcance de una extensión maliciosa; no hace que las extensiones maliciosas sean imposibles.
Tercera capa: acceso controlado a herramientas a través de MCP
Cuando un agente accede a herramientas externas, la cuestión se centra en la identidad, la autorización y la contabilidad. Las amenazas son el acceso excesivo, que permite al agente usar herramientas que no debería; el aumento descontrolado de los costos o el abuso, que provoca que el agente agote los recursos; y la incapacidad de reconstruir, a posteriori, quién hizo qué.
Cada llamada a una herramienta a través del Protocolo de Contexto del Modelo se rige por cuatro puntos. Se autentica mediante una clave de inquilino, por lo que la llamada lleva una identidad verificable. Se autoriza por herramienta, por lo que poseer una clave no otorga acceso a toda la superficie, sino solo a las operaciones específicas a las que tiene derecho esa identidad. Se mide el consumo con un presupuesto aplicado por ejecución, por día y en ventanas móviles de 30 días, con un interruptor de seguridad que detiene la actividad, de modo que un agente defectuoso o comprometido no pueda generar costos o volumen ilimitados sin que nadie se dé cuenta. Además, se audita, con anonimización de cada llamada para evitar que el registro se convierta en una nueva fuente de filtraciones de datos confidenciales.
En conjunto, estas medidas transforman el acceso a las herramientas, pasando de una capacidad implícita a una explícita, con privilegios mínimos y responsabilidad. El presupuesto y el interruptor de desactivación, en particular, abordan un modo de fallo que el control de acceso clásico ignora por completo: un agente con autorización completa que, aun así, realiza acciones incorrectas a gran escala porque nadie le ha indicado que se detenga.
Cuarta capa: números de la capa semántica, no del modelo.
Una amenaza más sutil en el análisis de agentes son las métricas fabricadas. Si le preguntas a un modelo cómo se desempeñó un grupo, con gusto generará un number que parece correcto pero que es completamente inventado. En un contexto de marketing o retención, una cifra errónea, aunque segura, puede influir en una decisión real, un cambio de presupuesto, una campaña o una presentación en la junta directiva, antes de que nadie se dé cuenta de que el modelo la inventó.
Cerramos esto eliminando el modelo del negocio de producir figuras. Los números de métricas provienen de una capa semántica certificada, un catálogo gobernado donde cada métrica tiene una definición, un cálculo conocido y una ruta de consulta con alcance de inquilino. El papel del agente es pedir una métrica y narrar el resultado; no llega a derivar el número en sí. Cuando el sistema informa GMV o miembros activos o tasa de canje, ese valor se remonta a una definición certificada sobre datos reales, no a una secuencia de tokens que parezca plausible.
Aquí también reside la medición honesta del impacto empresarial. Podemos señalar resultados como el aumento del GMV atribuido a los miembros de McDonald's China, de aproximadamente un 5 % a un 85 %, precisamente porque esa cifra proviene de una métrica definida y auditable, y no de una estimación de un modelo. La disciplina que previene la falsificación es la misma que hace que un resultado real sea confiable.
Quinta capa: aislamiento de inquilinos como propiedad de toda la infraestructura
La fuga de datos entre inquilinos, donde los datos de un cliente aparecen en la sesión de otro, es el fallo que acaba con la confianza de forma permanente. Rara vez se debe a una sola comprobación omitida. Surge de las fisuras entre componentes, donde una capa asume que otra impuso un límite que en realidad nadie impuso.
Por lo tanto, el aislamiento se trata como una propiedad reforzada en varias capas a la vez, en lugar de una sola puerta. El contexto de autenticación se aplica al inquilino en cada solicitud. Las consultas tienen un alcance definido, de modo que el acceso a los datos se filtra según el inquilino. Las cachés están particionadas, por lo que un resultado almacenado en caché para un inquilino no puede servirse a otro. Además, el acceso de lectura en la capa semántica se gestiona mediante vistas de solo lectura basadas en permisos, de manera que incluso una consulta analítica está restringida por el modelo de permisos de la base de datos, en lugar de por el código de la aplicación.
El objetivo de superponer estos elementos es evitar que un solo error se convierta en una brecha de seguridad. La defensa en profundidad no es redundancia por sí misma; es el reconocimiento de que cualquier límite puede implementarse incorrectamente, y que el costo de una fuga entre inquilinos es lo suficientemente alto como para justificar que el sistema sobreviva a un error.
Capa seis: control humano de las acciones con consecuencias
El último enlace no está automatizado deliberadamente. La lectura, el análisis, la redacción y la propuesta pueden ser autónomas. La activación, la acción consecuente que afecta a los clientes o compromete el gasto, pasa por un proceso de aprobación humana. Una persona con autoridad y conocimiento del contexto revisa lo que el agente pretende hacer y decide si se envía.
Esto no es una confesión de que no se puede confiar en la automatización. Es una elección de diseño sobre dónde debe ubicarse la rendición de cuentas. Algunas decisiones conllevan consecuencias que una organización nunca debería delegar en un sistema probabilístico, por muy bien gobernado que esté. Mantener a un humano en la puerta de activación significa que la cadena termina con alguien a quien se le puede considerar responsable, que es exactamente la propiedad que buscará un regulador, una junta o una revisión de incidentes.
Cabe mencionar que los procesos de aprobación tienen su propio modo de falla: la aprobación automática. Un proceso que los aprobadores aprueban sin leer es una farsa. La eficacia del proceso depende de la revisión que lo respalda, un control que su organización debe gestionar y auditar, algo que la plataforma no puede garantizar.
El riesgo residual que aún posee
Al implementar la cadena completa con ejecución validada, extensiones firmadas y aisladas, acceso controlado a herramientas, métricas certificadas, aislamiento de inquilinos por capas y aprobación humana, se obtiene una defensa en profundidad donde cada capa aborda una amenaza específica y ningún fallo individual se convierte en una catástrofe. Esa es la autonomía controlable que un CISO puede aprobar, ya que cada enlace es auditable y está delimitado.
No pretendemos que esté exento de riesgos. Los controles reducen el riesgo, pero no lo eliminan. El entorno aislado es una solución práctica, no un aislamiento perfecto. Las listas de permitidos deben mantenerse actualizadas, de lo contrario, quedan obsoletas. Los controles de aprobación se convierten en meros trámites cuando se incumple la disciplina. Las listas de revocación solo son útiles si están al día. Y el enfoque del NIST es el correcto precisamente porque es honesto al respecto: la gestión de riesgos de la IA es un proceso continuo. El modelo de amenazas cambia, los modelos se modifican, se añaden extensiones y su seguridad depende de su disposición a seguir revisándola. El día que consideres esto como una lista de verificación completada, tu postura empezará a deteriorarse.
Lo que queda con usted, las cosas que ninguna plataforma puede poseer en su nombre, está claro: la política sobre qué autonomía se permite, las personas que trabajan en las puertas de aprobación y realmente leen lo que aprueban, el mantenimiento de las listas permitidas y revocadas, y la auditoría continua que convierte los registros en responsabilidad. Nuestro trabajo es brindarle una cadena donde cada eslabón sea inspeccionable. Tu trabajo es gobernarlo. Si desea recorrer la cadena contra su propio modelo de amenazas y decidir dónde pertenecen sus puertas, reserve una demostración y plantee sus preguntas más difíciles.
Lecturas relacionadas
Sigue explorando las páginas más relacionadas con esta.
Una tubería no es un bucle: por qué sólo "acumular" aumenta la retención
La mayoría de las tecnologías de marketing operan con un flujo unidireccional y lo denominan bucle. La diferencia radica en un nodo —la retroalimentación— y es la diferencia entre una plataforma que se puede copiar y una ventaja que no.
Más información ArtículoSaaS para IA: Cuando el usuario principal de su software es un agente, no una persona
"SaaS para IA" es una afirmación arquitectónica precisa, no un eslogan. Cuando un agente es el consumidor primario, el producto se convierte en gobernanza: quién puede actuar, en nombre de quién y a qué costo.
Más información ArtículoUn vocabulario, dos audiencias: por qué su IA y sus paneles deben compartir una capa semántica
Las herramientas son los verbos que usa un agente. La capa semántica es el vocabulario compartido que mantiene esos verbos honestos. Constrúyalo una vez, sirva a personas y agentes desde él, y un número significa lo mismo sin importar quién lo pregunte.
Más información ArtículoMCP No es un conector: es su superficie de gobernanza para la era de los agentes
La mayoría de los análisis presentan el Protocolo de Contexto del Modelo como una infraestructura básica. El enfoque empresarial más relevante lo define así: MCP es el único lugar auditable donde se deciden la identidad, la autorización, el registro y el control de costos para el uso de herramientas de IA.
Más información ArtículoGestiona tu plataforma de clientes desde Claude Code y Slack
El desbloqueo no es un panel de control más rápido. Es un modelo operativo diferente: un agente gobernado dentro de las herramientas de IA que su equipo ya utiliza, que responde y actúa en lenguaje natural, sin exportar datos ni ceder el control.
Más información ArtículoUna identidad, mil conversaciones: La voz de la marca en la era de la hiperpersonalización
La personalización sin unidad de marca es ruido de marca. Una identidad fija sin personalización es una difusión irrelevante. La frontera abarca ambos aspectos simultáneamente.
Más información¿Quieres saber más?
Programe una conversación con nuestros expertos en bucles de retención.