¿Qué es el aprendizaje automático adversarial?
Privacidad, seguridad e identidad
El aprendizaje automático adversarial, conocido habitualmente como AML, es el campo que estudia los ataques que explotan la forma en que los sistemas de aprendizaje automático se entrenan, consultan o despliegan. Es el concepto paraguas para ataques específicos de IA como la evasión, el envenenamiento de datos, la extracción de información privada y algunos ataques basados en instrucciones contra sistemas generativos. Para los líderes organizacionales, su importancia radica en que convierte la fiabilidad de la IA en una cuestión de seguridad: el modelo, sus datos y el flujo de trabajo que lo rodea pueden ser manipulados.
Revisado por Jackie, Head of Learning & Development, Levellers - Última revisión: 8 de junio de 2026
Qué significa esto
La ciberseguridad tradicional suele centrarse en servidores, cuentas, redes y código. El aprendizaje automático adversarial se enfoca en algo más específico: las vulnerabilidades que surgen del hecho de que un sistema aprende a partir de datos y realiza predicciones o generaciones basadas en estadística.
Una forma útil de entenderlo es la siguiente. El software convencional hace exactamente lo que ha sido programado para hacer. Los sistemas de aprendizaje automático infieren patrones a partir de datos. Eso les otorga flexibilidad, pero también crea vías de ataque inusuales. Un actor malicioso puede ser capaz de modificar la entrada del modelo, influir en los datos con los que aprende, sondearlo para obtener información sensible o explotar la manera en que gestiona el lenguaje natural y el contexto.
AML es, por tanto, un concepto paraguas amplio, no un único ataque. En sistemas predictivos más antiguos incluye cosas como ataques de evasión, ataques de envenenamiento y ataques a la privacidad, como la extracción de información de un modelo. En sistemas generativos se extiende también a clases de ataque como las instrucciones directas y la inyección de instrucciones indirecta. Las taxonomías siguen evolucionando y los distintos marcos agrupan los ataques de forma ligeramente diferente, pero la idea central es estable: el comportamiento del sistema de aprendizaje automático está siendo manipulado a través de vulnerabilidades propias de estos sistemas.
Esto importa porque muchas organizaciones confían ahora a los modelos tareas que afectan al dinero, la seguridad, las interacciones con clientes, los contenidos, la detección de fraude, la logística y el conocimiento interno. Si esos sistemas pueden ser manipulados, el problema no es solo del modelo. Es un problema de control del negocio.
Por qué importa
El aprendizaje automático adversarial importa porque se sitúa en la intersección de la confianza, la automatización y la superficie de ataque. Cuanto más depende una organización de un modelo, más atractivo se vuelve ese modelo como objetivo.
Si se puede engañar a un modelo de detección de fraude, las pérdidas aumentan. Si se puede confundir a un modelo de visión por computadora, los controles de seguridad y calidad se debilitan. Si se puede manipular un modelo de lenguaje para que filtre información o actúe fuera de la política establecida, los controles internos se deterioran. Si se sesga un modelo de recomendación o clasificación, el comportamiento comercial cambia. En cada caso, el modelo no necesita ser "hackeado" en el sentido tradicional para que se produzca un daño.
Los líderes también deben prestar atención porque AML afecta a varios equipos a la vez. No es responsabilidad exclusiva de ciencia de datos. Los equipos de seguridad, los equipos de plataforma, los responsables de riesgos, los equipos de compras y los operadores de negocio influyen todos en la exposición. Un modelo sólido con un control de acceso deficiente, una gobernanza de datos débil o sin un proceso de gestión de incidentes sigue siendo un sistema vulnerable.
Cómo funciona
El aprendizaje automático adversarial puede afectar a un modelo en distintas etapas de su ciclo de vida. Esa es una de las razones por las que el término es tan amplio. La amenaza puede surgir antes del entrenamiento, durante el entrenamiento, en el despliegue o después del lanzamiento mediante consultas repetidas y sondeos.
Una categoría principal es la manipulación en la fase de entrenamiento. Aquí el atacante influye en lo que aprende el modelo. Esto puede implicar el envenenamiento de los datos de entrenamiento, la corrupción de etiquetas, la alteración del proceso de entrenamiento o la introducción de comportamientos ocultos que solo se manifiestan más adelante. El envenenamiento de datos es el ejemplo más conocido y merece un tratamiento propio, pero tiene sentido como parte de la familia AML más amplia.
Una segunda categoría principal es la manipulación en la fase de despliegue. Aquí el modelo ya está entrenado, pero un atacante elabora entradas que conducen a comportamientos incorrectos o inseguros. En la IA predictiva esto puede significar imágenes, textos, señales u otras entradas alteradas que provocan una clasificación errónea o un rendimiento degradado. En los modelos de lenguaje suele manifestarse como ataques basados en instrucciones que intentan alterar la forma en que el modelo interpreta las instrucciones y el contexto.
Una tercera categoría es la vulneración de la privacidad. Los atacantes pueden sondear el sistema para inferir qué datos se usaron en el entrenamiento, reconstruir información sensible o aprender lo suficiente sobre el modelo para imitarlo o extraerlo. Estos ataques son especialmente relevantes cuando el modelo ha sido entrenado con material sensible o propietario, o cuando el servicio expone interfaces de consulta ricas.
Una cuarta categoría implica el abuso de recursos y del sistema. Algunos ataques apuntan menos a obtener respuestas incorrectas y más a desperdiciar capacidad de cómputo, reducir la disponibilidad o crear condiciones en las que el sistema se vuelve poco fiable o costoso de operar.
La IA generativa ha ampliado aún más el panorama. La taxonomía actual de NIST distingue los ataques a sistemas predictivos de los ataques a sistemas generativos, aunque los trata dentro de un mismo campo de aprendizaje automático adversarial. Esto importa porque muchas conversaciones a nivel directivo se centran únicamente en los chatbots. En realidad, AML también se aplica a la visión por computadora, los sistemas de audio, los sistemas de clasificación, los modelos de ciberdefensa, la detección de anomalías y el aprendizaje automático industrial.
También es importante distinguir AML de las vulnerabilidades cibernéticas ordinarias. Si un atacante roba credenciales para acceder a un servidor de modelos, se trata de un problema de seguridad grave, pero no es necesariamente un ataque AML. Muchos marcos actuales establecen una distinción entre los ataques cibernéticos tradicionales al entorno circundante y los ataques que explotan específicamente las propiedades de aprendizaje o inferencia del modelo. Ambos importan. Simplemente no son idénticos.
Para los líderes, la visión práctica es que un sistema de aprendizaje automático tiene varias superficies de ataque simultáneamente.
Está el entorno, es decir, la infraestructura, las redes, el cómputo y el almacenamiento.
Está la plataforma, es decir, el código de la aplicación, la pila de servicio, las APIs y la orquestación.
Está el modelo, es decir, el artefacto aprendido en sí mismo, incluido su comportamiento, sus pesos, sus instrucciones o su configuración.
Están los datos, es decir, los conjuntos de datos de entrenamiento, ajuste, evaluación, recuperación y monitoreo.
AML resulta más fácil de gestionar cuando se consideran los cuatro elementos juntos. Un modelo seguro sobre una plataforma insegura sigue estando expuesto. Una API bien controlada que utiliza datos de entrenamiento no confiables sigue estando expuesta. Un asistente cuidadosamente protegido con permisos excesivos sobre herramientas sigue estando expuesto.
La defensa, por tanto, debe ser a nivel de sistema. Las orientaciones actuales de los organismos de normalización y seguridad tienden a converger en algunas ideas duraderas.
Incorporar la seguridad desde el inicio. No añadirla como parche tras el despliegue. Modelar las amenazas en los flujos de datos, las entradas de entrenamiento, las exposiciones del modelo, las herramientas y los roles de usuario antes de escalar.
Tratar la integridad de la cadena de suministro como algo fundamental. Saber de dónde provienen los modelos, conjuntos de datos, etiquetas, bibliotecas y artefactos. Verificarlos, versionarlos y mantener registros.
Aplicar el principio de mínimo privilegio. Los modelos y agentes no deben tener permisos amplios solo porque resulte conveniente.
Realizar pruebas adversariales. Utilizar red teaming, pruebas de robustez y evaluación continua para observar cómo se comporta el modelo bajo presión, no solo con instrucciones ideales y tareas de referencia.
Monitorear en producción. Buscar cambios en los patrones de entrada, deriva del comportamiento, uso inusual de recursos, indicadores de filtración y nuevos modos de fallo.
Planificar la respuesta y la recuperación. Si un modelo muestra un comportamiento comprometido, los equipos deben saber cómo contenerlo, revertirlo, preservar evidencias y notificar a los responsables adecuados.
Vale la pena subrayar un punto adicional. La taxonomía sigue evolucionando. Distintas organizaciones clasifican el mismo fenómeno de formas ligeramente diferentes. El NCSC ha propuesto recientemente siete clases de ataque para ayudar a los equipos de seguridad a pensar con mayor claridad. NIST mantiene una taxonomía más amplia que abarca sistemas predictivos y generativos. MITRE ATLAS ofrece una base de conocimiento actualizada de tácticas y técnicas adversariales. Esto no indica que el campo esté demasiado confuso para ser útil. Indica que el campo está madurando rápidamente. Los líderes deben responder exigiendo definiciones claras en la política interna, en lugar de asumir que cada término está definitivamente establecido.
Ejemplos
Un equipo de finanzas utiliza un modelo para detectar transacciones anómalas. Si un actor malicioso aprende cómo reacciona el modelo ante ciertos patrones y ajusta su comportamiento en consecuencia, puede eludir el modelo defensivo sin necesidad de acceder al código subyacente.
Un equipo de fabricación o logística utiliza visión por computadora para clasificar artículos o detectar defectos. Si el modelo es vulnerable a entradas alteradas, los controles de calidad pueden debilitarse y las decisiones operativas pueden sesgarse.
Una organización de atención al cliente despliega un modelo de lenguaje conectado a fuentes de conocimiento y herramientas internas. Aquí AML no se limita a las salidas tóxicas. Incluye la manipulación mediante instrucciones, las instrucciones indirectas ocultas en el contenido, la vulneración de la privacidad y el uso indebido de herramientas.
Un equipo de seguridad utiliza aprendizaje automático para priorizar alertas. Si un adversario puede sesgar lo que el modelo observa o inferir cómo puntúa, el modelo puede dejar de ayudar a los defensores y empezar a beneficiar al atacante.
Malentendidos frecuentes
Un malentendido habitual es que el aprendizaje automático adversarial trata únicamente de trucos visuales extraños contra sistemas de visión por computadora. Ese es un ejemplo clásico, pero el campo es mucho más amplio e incluye claramente los sistemas generativos.
Otro es que esto solo es relevante para herramientas de IA de frontera o de uso público. En la práctica, los modelos empresariales ordinarios pueden estar expuestos si influyen en decisiones reales o interactúan con datos sensibles.
Un tercero es que los modelos más potentes resuelven automáticamente el problema. Los mejores modelos pueden mejorar la resiliencia en algunos casos, pero no eliminan la superficie de ataque subyacente que crean los sistemas de aprendizaje.
Un cuarto es que AML reemplaza a la ciberseguridad estándar. No es así. Los controles cibernéticos estándar siguen siendo fundamentales. AML añade preocupaciones específicas del modelo por encima de ellos.
Riesgos y límites
No todas las organizaciones necesitan el mismo nivel de programa AML. El nivel adecuado depende de cuán central sea el modelo, qué daño podría causar y cuánto acceso tiene. Sobredimensionar los controles para una herramienta interna de redacción de bajo riesgo puede desperdiciar esfuerzo. Subdimensionarlos para un sistema de fraude, identidad, seguridad o agéntico es más difícil de justificar.
También es importante aceptar que algunas defensas siguen siendo inmaduras. Los métodos de prueba, los métodos de detección y las afirmaciones sobre robustez pueden variar considerablemente. Los líderes deben preferir la evidencia procedente de evaluaciones internas realistas antes que las declaraciones de marketing genéricas.
Este artículo es una guía práctica, no asesoramiento profesional en materia de seguridad. Si un sistema de aprendizaje automático afecta a movimientos de dinero, seguridad física, asesoramiento regulado o acceso a datos sensibles, conviene contar con una revisión especializada.
Qué hacer a continuación
En primer lugar, identificar qué sistemas de aprendizaje automático son realmente importantes. Listar los modelos que influyen en decisiones, automatizan acciones o manejan datos sensibles. Estos son los activos AML prioritarios.
En segundo lugar, modelar las amenazas de cada uno a lo largo del ciclo de vida. Preguntarse qué podría salir mal en las etapas de entrenamiento, ajuste, despliegue, consulta, monitoreo y actualización.
En tercer lugar, mapear las dependencias. Registrar los conjuntos de datos, los modelos de terceros, los almacenes de artefactos, la infraestructura de servicio, las conexiones de herramientas y quién puede modificar qué.
En cuarto lugar, establecer controles de referencia. El control de acceso, el versionado, la trazabilidad, el registro, la revisión del despliegue, los mecanismos de reversión y la titularidad de los incidentes deben existir antes de escalar.
En quinto lugar, probar más allá del uso normal. Realizar evaluaciones adversariales, no solo pruebas del camino feliz. Incluir intentos de degradar el rendimiento, filtrar información, sesgar el comportamiento o hacer un uso indebido de las acciones conectadas.
En sexto lugar, integrar el monitoreo en las operaciones. Hacer seguimiento de la deriva, las entradas inusuales, el abuso de recursos y los cambios de comportamiento tras actualizaciones o renovaciones de datos.
Por último, hacer preguntas directas a los proveedores. ¿Qué pruebas AML realizan, qué riesgos cubren, con qué frecuencia vuelven a probar, cómo gestionan la divulgación y qué evidencias pueden aportar?
¿Tiene alguna pregunta o sugerencia, o desea saber cómo investigamos y revisamos estas guías? Lea sobre nuestros estándares editoriales y cómo contactarnos.
Preguntas frecuentes
¿El aprendizaje automático adversarial trata solo de IA generativa?
No. Se aplica tanto a sistemas predictivos como generativos. La IA generativa ha dado mayor visibilidad al tema, pero AML también abarca visión, fraude, clasificación, voz y otras aplicaciones de aprendizaje automático.
¿Qué incluye el concepto paraguas AML?
Entre los ejemplos habituales se encuentran los ataques de evasión, los ataques de envenenamiento, la vulneración de la privacidad, la extracción de modelos y algunos ataques basados en instrucciones en sistemas generativos. La taxonomía exacta varía según el marco de referencia.
¿La inyección de instrucciones es lo mismo que AML?
La inyección de instrucciones se trata generalmente como una clase de ataque dentro del panorama AML más amplio para sistemas generativos. AML es el concepto padre más amplio.
¿Siguen siendo relevantes los controles cibernéticos estándar?
Absolutamente. La gestión de identidades, la seguridad de redes, el registro, la aplicación de parches, los controles de la cadena de suministro y la respuesta a incidentes siguen siendo fundamentales. AML añade preocupaciones específicas del modelo por encima de ellos.
¿Cómo saber si AML es un asunto para el consejo directivo?
Se convierte en un asunto para el consejo o la alta dirección cuando los sistemas de aprendizaje automático influyen en decisiones materiales, interactúan con clientes, almacenan datos sensibles o tienen suficientes privilegios como para que un fallo pueda causar un daño grave.
¿Está el campo consolidado?
No. La terminología y las taxonomías siguen evolucionando. Por eso las organizaciones deben definir los términos con claridad en sus políticas y centrarse en la reducción práctica del riesgo, más que en un vocabulario perfecto.
Fuentes
Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations (National Institute of Standards and Technology). Primary. Core taxonomy for adversarial ML across predictive and generative systems, including evasion, poisoning, privacy, direct prompting and indirect prompt injection.
Understanding adversarial attacks against Machine Learning and AI (National Cyber Security Centre). Primary. Supports the distinction between ML specific attacks and broader cyber attacks, the seven attack classes, and the point that terminology remains overloaded in places.
Machine learning principles (National Cyber Security Centre). Primary. Supports the secure by design framing that ML vulnerabilities must be considered throughout the system life cycle.
SAFE-AI: A Framework for Securing AI-Enabled Systems (MITRE). Primary. Supports the model, data, platform and environment view of AI enabled system security and the need for AI specific controls.
Securing Machine Learning Algorithms (ENISA). Primary. Corroborates the broader European security view that ML systems face threats including data poisoning, adversarial attacks and data exfiltration.
Guidelines for secure AI system development (National Cyber Security Centre). Primary and corroborative. Supports the secure design, development, deployment and maintenance framing for AI systems.