¿Qué es la seguridad de la IA?

Cómo funciona

El mapa de amenazas de la IA

Ninguna taxonomía única cubre todos los riesgos de la IA, pero dos son especialmente útiles. El OWASP Top 10 para aplicaciones de modelos de lenguaje grandes ofrece a los equipos de negocio y producto un mapa práctico a nivel de aplicación. MITRE ATLAS proporciona a los defensores una base de conocimiento actualizada sobre tácticas y técnicas de adversarios contra sistemas habilitados con IA. Juntos, ayudan a separar el ruido mediático de las amenazas que realmente importan en despliegues reales.

Inyección de prompts, incluida la inyección indirecta

La inyección de prompts es la amenaza más característica en muchos despliegues de IA generativa. Ocurre cuando un modelo es dirigido por instrucciones maliciosas o manipuladoras de una forma que el propietario del sistema no pretendía. Una inyección directa de prompts proviene del usuario que introduce texto en la interfaz. Una inyección indirecta de prompts proviene de contenido no confiable que el modelo lee como parte de su trabajo, como una página web, un archivo, un correo electrónico, un ticket de soporte, un campo de notas o un fragmento de documento recuperado.

Para un líder, el punto central es este: si un sistema de IA lee contenido no confiable y además se le confía responder preguntas, revelar información o ejecutar acciones, ese contenido puede convertirse en parte del camino de control. Un atacante no siempre necesita irrumpir en el sistema. Puede que solo necesite introducir material cuidadosamente elaborado en un lugar que el modelo leerá más adelante. Por eso los asistentes basados en recuperación y los sistemas agénticos requieren especial cuidado. La inyección de prompts no se limita a respuestas inapropiadas. Puede derivar en exposición de datos, filtración de instrucciones ocultas, uso inseguro de herramientas, resúmenes falsos y manipulación de flujos de trabajo.

Esta amenaza también difiere de los problemas clásicos de inyección en un aspecto incómodo. No existe un equivalente limpio de separar datos de comandos con total fiabilidad. Un buen diseño puede reducir la probabilidad y limitar el daño, pero los líderes no deben asumir que un único filtro hará desaparecer el problema.

Jailbreaks y evasión de salvaguardas

Un jailbreak es un intento de eludir las restricciones de comportamiento de un modelo. En términos sencillos, alguien intenta conseguir que la IA ignore sus reglas, revele instrucciones ocultas, produzca material no permitido o lleve a cabo una acción restringida. Las salvaguardas son los controles utilizados para mantener el sistema dentro de los límites esperados, como prompts ocultos, entrenamiento de rechazo, clasificadores de seguridad, filtros y restricciones de herramientas. La evasión de salvaguardas es la categoría más amplia de sortear esos controles.

Para los lectores del ámbito empresarial, el punto importante es que un jailbreak no es solo un problema de relaciones públicas. Si su asistente debe rechazar consultas sensibles de clientes, evitar consejos especulativos, mantenerse dentro de los flujos de trabajo aprobados o solicitar confirmación humana antes de actuar, una evasión exitosa puede socavar esos controles empresariales. Las capas de seguridad ayudan, pero no constituyen por sí solas un perímetro seguro. Las acciones de alto impacto también necesitan controles externos.

Envenenamiento de datos de entrenamiento o ajuste fino

El envenenamiento de datos consiste en manipular los datos utilizados para entrenar, ajustar o actualizar un sistema de IA de modo que su comportamiento posterior quede sesgado. El ajuste fino consiste en un entrenamiento adicional con ejemplos o retroalimentación específicos de la organización para que un modelo se adapte mejor a una tarea local. Si ese material es manipulado, el modelo puede volverse menos fiable, más sesgado, más fácil de activar en una dirección determinada o quedar silenciosamente comprometido con una puerta trasera.

El envenenamiento no se limita a los constructores de modelos de frontera. Afecta a cualquier organización que gestione una base de conocimiento, incorpore retroalimentación de usuarios, reentrene con contenido interno o permita que empleados y clientes envíen material que luego afecte al comportamiento del modelo. Un asistente de soporte reentrenado con datos de tickets defectuosos, un modelo de moderación actualizado a partir de retroalimentación manipulada, o un sistema de recuperación alimentado con documentos no verificados pueden ser desviados de su curso. El daño empresarial puede manifestarse como decisiones deficientes, fallos ocultos, daño a la marca o evasión de seguridad, más que como un incidente técnico dramático.

Robo y extracción de modelos

El robo de modelos es la adquisición no autorizada de un modelo o de su comportamiento valioso. Puede ocurrir mediante el robo directo de los pesos del modelo o mediante la extracción del modelo, donde un atacante utiliza consultas repetidas para reproducir suficiente funcionalidad del modelo como para crear una copia útil o comprender cómo se comporta. En términos comerciales, esto puede suponer una pérdida de propiedad intelectual. En términos de seguridad, también puede ayudar a un atacante a estudiar el modelo sin conexión, descubrir puntos débiles, eludir protecciones o inferir detalles sensibles sobre lo que el modelo ha aprendido.

Esto importa especialmente cuando un modelo proporciona una ventaja competitiva real, contiene lógica de decisión sensible o se utiliza en una función crítica para la seguridad. Los líderes deben considerar el acceso al modelo, la exposición de la API, el registro de actividad, los límites de velocidad, la detección de consultas anómalas y el nivel de detalle devuelto a los usuarios. Si un servicio revela demasiada confianza o estado interno, puede ofrecer más material del previsto para trabajar con él.

Entradas adversariales y ataques de evasión

Las entradas adversariales son entradas cuidadosamente elaboradas para hacer que un modelo malinterprete lo que está viendo. En un modelo de lenguaje puede tratarse de texto. En otros sistemas puede ser una imagen, una muestra de voz, el escaneo de un documento, datos de sensores o un patrón de comportamiento. La evasión consiste en empujar al modelo hacia una clasificación o juicio incorrecto en el momento de uso, mientras la entrada sigue pareciendo normal o aceptable para un observador humano.

Esto importa más allá de los chatbots. La puntuación de fraude, la detección de spam, las verificaciones biométricas, el procesamiento de documentos, la inspección de calidad, la monitorización de seguridad y los sistemas de visión por computadora pueden verse afectados. Una empresa no necesita entender las matemáticas subyacentes para gestionar el riesgo. Necesita saber dónde la organización depende del juicio del modelo en lugar de reglas fijas, qué daño se deriva de los falsos negativos o falsos positivos, y qué alternativa existe cuando la confianza del modelo es débil.

Filtración de datos sensibles y memorización

Los sistemas de IA pueden filtrar información de más de una manera. La forma obvia es concediéndoles acceso a material que nunca deberían ver. La forma menos obvia es revelando contenido sensible a través de sus resultados. Ese contenido puede provenir del prompt actual, del historial de chat, de documentos recuperados, de respuestas de herramientas, de instrucciones ocultas o, en algunos casos, de fragmentos memorizados de los datos de entrenamiento.

Esta es una razón por la que los líderes deben evitar tratar el modelo en sí como una bóveda privada. Los prompts de sistema ocultos no son un almacén seguro de secretos. El historial de chat puede resurgir de formas sorprendentes. El personal puede pegar datos confidenciales en herramientas públicas. La investigación ha demostrado que los modelos de lenguaje pueden reproducir fragmentos memorizados del entrenamiento bajo ciertas condiciones. La lección práctica no es que todos los modelos filtrarán todo, sino que los datos confidenciales deben minimizarse, el acceso debe delimitarse, la retención debe comprenderse y los resultados deben tratarse como algo que puede necesitar filtrado y revisión.

Uso inseguro de herramientas y agencia excesiva en sistemas agénticos

Un sistema agéntico es un sistema de IA que puede decidir qué herramientas llamar y en qué orden para perseguir un objetivo. Aquí es donde la seguridad de la IA se vuelve muy operativa. Un modelo puede buscar en sistemas internos, redactar correos electrónicos, modificar registros, ejecutar scripts, crear tickets, aprobar solicitudes o activar automatizaciones posteriores. Si los permisos son demasiado amplios, un modelo manipulado o equivocado puede causar daños empresariales reales sin ninguna intrusión clásica en la red.

La agencia excesiva significa dar a la IA demasiada libertad, demasiadas acciones o supervisión insuficiente para la tarea. El riesgo no proviene únicamente de prompts maliciosos. También proviene de la ambigüedad. Un modelo puede malinterpretar su objetivo, elegir la herramienta equivocada, entrar en bucles excesivos, usar la fuente de datos incorrecta o actuar con confianza sobre una premisa falsa. El acceso de solo lectura es más seguro que el acceso de escritura. Redactar es más seguro que enviar. Recomendar es más seguro que ejecutar. Una buena arquitectura mantiene esas distinciones claras.

Riesgo de la cadena de suministro y de terceros

Muy pocos sistemas de IA son productos únicos. Son pilas. Un asistente empresarial puede depender de un modelo fundacional, un proveedor de modelos, una capa de recuperación, un analizador de documentos, un servicio de embeddings, un marco de agentes, un filtro de seguridad, un conjunto de plugins, una suite de productividad, un proveedor de búsqueda web y una plataforma en la nube. Los conjuntos de datos, las bibliotecas de código abierto y los servicios de ajuste fino añaden más capas.

Esto significa que la seguridad de la IA es también seguridad de la cadena de suministro. Un componente débil, un conjunto de datos envenenado, una biblioteca comprometida, un plugin no verificado, un conector inseguro o una actualización silenciosa del proveedor pueden cambiar el perfil de riesgo. Las preocupaciones tradicionales sobre la cadena de suministro de software siguen siendo aplicables, pero la IA añade la procedencia de modelos y conjuntos de datos, los cambios de comportamiento tras actualizaciones del modelo y la posibilidad de que el contenido de terceros altere el comportamiento en tiempo de ejecución. Los líderes deben exigir un inventario claro de lo que realmente depende la pila de IA, qué cambia sin previo aviso y cómo el proveedor comunica incidentes y actualizaciones del modelo.

Cómo la IA cambia el panorama de amenazas más amplio

La seguridad de la IA no consiste únicamente en proteger los propios sistemas de IA. La IA también cambia el panorama de amenazas más amplio alrededor de la organización. El patrón a corto plazo no suele ser una clase completamente nueva de ataque. Es un multiplicador de fuerza. Los ataques conocidos se vuelven más baratos, más rápidos, más personalizados y más fáciles de ejecutar a escala.

Phishing y ingeniería social a escala

La IA generativa facilita la producción de texto convincente en el tono, idioma y estilo local adecuados. Esto importa porque el phishing a menudo funciona en los márgenes. La ortografía deficiente, la redacción torpe y el lenguaje genérico solían ser señales de alerta. La IA reduce esa fricción. También ayuda a los atacantes a personalizar mensajes más rápidamente, resumir información pública sobre objetivos y mantener conversaciones durante más tiempo. La implicación práctica no es que todos vayan a ser engañados de repente, sino que la calidad del mensaje por sí sola ya no es una garantía fiable.

Suplantación de identidad y fraude mediante deepfake

La suplantación de identidad por audio y vídeo aumenta el riesgo en torno a las aprobaciones de pagos, solicitudes de directivos, restablecimientos del servicio de asistencia y gestión urgente de excepciones. Una nota de voz falsa de un alto directivo, una videollamada que parece mostrar a un contacto conocido, o medios promocionales aparentemente auténticos pueden utilizarse para crear presión y credibilidad. Esto es especialmente peligroso en organizaciones que aún dependen de la urgencia, la familiaridad o la jerarquía como sustitutos de la verificación.

La respuesta es tanto procedimental como técnica. Las solicitudes de alto riesgo necesitan vías de verificación independientes, reglas de devolución de llamada, doble aprobación y permiso explícito al personal para ralentizar el proceso cuando algo no parece correcto.

Reconocimiento más rápido y trabajo de vulnerabilidades

La IA ayuda a los atacantes a procesar información a gran velocidad. Puede asistir en la revisión de código, el análisis de configuraciones, la clasificación de datos y el resumen de material robado. Para actores capaces, puede acelerar el descubrimiento de vulnerabilidades y la planificación de su explotación. Para actores menos capaces, puede reducir la barrera para producir scripts básicos, mejorar los señuelos y gestionar más víctimas a la vez.

Eso no significa que los delincuentes hayan adquirido poderes mágicos nuevos. Las mayores ganancias siguen tendiendo a aparecer donde los atacantes ya tienen habilidad, buenos datos y tiempo. Pero sí significa que los defensores pierden parte de la ventaja que provenía del alto coste del esfuerzo del atacante.

Por qué esto debe agudizar, no distorsionar, el juicio

Los líderes deben resistir dos malas reacciones. La primera es el pánico. La segunda es la complacencia. La IA no hace obsoleta la seguridad básica. Si acaso, hace que los fundamentos débiles sean más costosos. La autenticación multifactor, la aplicación de parches, las revisiones de acceso, los controles de aprobación, la disciplina en unidades compartidas, la gestión de proveedores y los hábitos de verificación del personal siguen bloqueando una gran parte del daño real. La IA cambia el ritmo y la escala del ataque mucho más de lo que cambia las leyes de la seguridad.

Datos, identidad y acceso

Los datos, la identidad y el acceso son donde muchos problemas de seguridad de la IA se vuelven reales. La mayoría de las organizaciones no sufren daños porque un modelo haya dado una respuesta torpe. Los sufren porque el modelo podía acceder a datos que no debería ver, o porque se le confió actuar con permisos demasiado amplios.

El alcance de los datos se convierte en el problema real

Un asistente interno puede heredar el desorden de la infraestructura sobre la que se asienta. Las carpetas abiertas, los permisos obsoletos, los archivos confidenciales mal etiquetados, los buzones compartidos heredados y los almacenes de datos duplicados se vuelven mucho más fáciles de interrogar una vez que un modelo puede buscarlos y resumirlos en lenguaje natural. El problema a menudo no es "la IA filtró datos" como un evento separado. El problema es que la IA hizo que una gobernanza de datos ya débil fuera instantáneamente más explotable.

Esto es especialmente importante para los sistemas que extraen contexto en tiempo real de almacenes de documentos, bases de conocimiento o herramientas de colaboración en el momento de responder. Si el material fuente está sobreexpuesto, no verificado o mal segmentado, el modelo reflejará esas debilidades. Los datos más seguros para la IA son los que realmente se necesitan, de fuentes de confianza, bajo permisos que se comprenden.

El mínimo privilegio importa más con la IA

El mínimo privilegio significa conceder el acceso mínimo necesario para la tarea, no más. Con la IA ese principio se vuelve aún más importante porque el sistema puede combinar, resumir y reutilizar lo que ve. Un humano quizás nunca navegaría manualmente por diez sistemas conectados en una sola sesión. Un asistente de IA puede hacer el equivalente en segundos si se le permite.

Para los líderes, esto significa insistir en ámbitos estrechos. Comenzar con acceso de solo lectura donde sea posible. Separar la lectura de la escritura. Separar la redacción del envío. Separar la recomendación de la aprobación. Limitar temporalmente las credenciales cuando sea posible. Utilizar el control de acceso basado en roles, u otro modelo de permisos disciplinado, para que la IA solo acceda a lo que el usuario o flujo de trabajo específico debe alcanzar.

Identidad para agentes, herramientas y automatizaciones

Todo flujo de trabajo de IA que use herramientas de forma significativa debe tener un modelo de identidad claro. Eso significa saber qué identidad de usuario está involucrada, qué identidad de servicio utiliza la IA, qué conectores están autorizados y cómo se registran las acciones. Las cuentas de servicio compartidas y los permisos heredados amplios son especialmente arriesgados porque dificultan saber quién hizo qué y hacen más difícil contener el daño.

Un patrón práctico es una identidad por agente o automatización, con derechos de alcance estricto y registro sólido. Si un asistente ayuda al equipo de ventas a redactar notas, no debería heredar silenciosamente permisos de finanzas. Si un agente puede crear tickets, eso no significa que deba poder cerrarlos, cambiar derechos de acceso o gastar dinero.

La supervisión humana aún necesita diseño

La supervisión humana se presenta a menudo como la respuesta al riesgo de la IA. Ayuda, pero solo si está bien diseñada. Un paso de aprobación nominal es débil si el revisor tiene poco contexto, demasiado poco tiempo o una confianza excesiva en el sistema. La supervisión funciona mejor cuando la IA presenta claramente su base de fuentes, la acción es reversible donde sea posible, el revisor tiene autoridad para detener el proceso y las decisiones de alto impacto requieren confirmación deliberada en lugar de aceptación pasiva.

Para las organizaciones medianas, una regla útil es sencilla: cuanto más irreversible, sensible o regulada sea la acción, menos libertad debe tener la IA para completarla sin una decisión humana responsable.