Por Sergio Gustavo Benaroya*
DEEPFAKES SEXUALES: LA PROHIBICIÓN EUROPEA DE IA GENERATIVA Y EL CAMBIO DE PARADIGMA REGULATORIO
I. Introducción
La aparición de sistemas capaces de producir imágenes, audios y videos hiperrealistas mediante IA generativa ha modificado de manera profunda el ecosistema comunicativo digital. Dentro de este contexto, los deepfakes sexuales se consolidan como una de las manifestaciones más lesivas, por su potencial para vulnerar intimidad, reputación, identidad y dignidad sin contacto físico ni acceso directo al cuerpo de la víctima. Se trata de un fenómeno que interpela simultáneamente al derecho, la política, la ética y la teoría de la regulación.
En los últimos años, la Unión Europea ha optado por enfrentar este problema con un cambio regulatorio de gran alcance. El acuerdo del 7 de mayo de 2026, en el marco del paquete Omnibus VIII vinculado al AI Act, prohíbe determinados sistemas de IA capaces de generar contenido sexual o íntimo no consentido y extiende la exigencia de salvaguardas robustas a modelos de propósito general. La decisión marca un viraje respecto de una fase centrada en obligaciones de transparencia y etiquetado, y desplaza el foco hacia la prevención del daño mediante la exclusión del mercado de herramientas consideradas incompatibles con los derechos fundamentales.
En este marco, los deepfakes sexuales dejan de ser entendidos como mero problema de desinformación para ser conceptualizados como forma específica de violencia sexual digital, asociada a una “industrialización” del daño. El eje deja de estar solo en la responsabilidad ex post por contenidos difundidos y se extiende a una cuestión ex ante: qué sistemas no deberían estar disponibles en el mercado por su potencial estructural para facilitar la violencia sexual.
II. Marco conceptual y problema jurídico
Los deepfakes son contenidos sintéticos producidos o alterados mediante IA capaces de simular de forma altamente realista voz, rostro, cuerpo o conducta de una persona. Cuando se utilizan para representar escenas sexuales o íntimas sin consentimiento, el daño se intensifica porque afecta la esfera especialmente protegida de la intimidad corporal y sexual, erosionando privacidad, identidad y dignidad.
En comparación con otras formas de manipulación audiovisual, los deepfakes sexuales reúnen tres factores agravantes: facilidad de producción y distribución masiva, alta plausibilidad visual y dificultad de obtener reparación una vez que el contenido circula. La posibilidad de generar miles de imágenes o videos en poco tiempo y a bajo costo permite hablar de una verdadera “industrialización” del daño.
Este cambio de escala obliga a repensar los marcos tradicionales de responsabilidad, que se concentraban en determinar quién responde ex post por el contenido. La pregunta central pasa a incluir qué sistemas no deberían circular en el mercado en función de su potencial lesivo estructural. En el contexto europeo, el AI Act y el acuerdo del 7 de mayo de 2026 dejan de tratar los deepfakes solo como cuestión de transparencia y los consideran, en ciertos supuestos, prácticas directamente prohibidas.
III. Contexto político y regulatorio de la reforma europea
La prohibición de deepfakes sexuales no surge aisladamente, sino como resultado de una acumulación previa de tensiones en la gobernanza digital europea. La UE construyó en la última década un entramado normativo (AI Act, Ley de Servicios Digitales, entre otros) basado en obligaciones diferenciadas según niveles de riesgo. Inicialmente, los deepfakes se abordaron como un problema de transparencia: la solución pasaba por etiquetar el contenido sintético y reforzar la responsabilidad ex post.
La expansión de los deepfakes sexuales, y en especial el escándalo de Grok entre diciembre de 2025 y enero de 2026, aceleró un cambio de enfoque. La generación masiva de imágenes sexualizadas, incluidas representaciones de personas menores, transformó un debate técnico en una crisis política. La Comisión Europea abrió investigaciones bajo la Ley de Servicios Digitales, mientras figuras políticas denunciaron públicamente el “desnudado digital” de mujeres y niños.
España, con apoyo de Francia, impulsó entonces la incorporación de una prohibición específica de sistemas capaces de generar contenido sexual o íntimo no consentido en el paquete Omnibus VIII. La medida se inserta en una estrategia más amplia de recalificar ciertos usos de la IA como incompatibles con el estándar europeo de protección de derechos fundamentales. De este modo, la UE consolida un perfil más asertivo en materia de regulación tecnológica.
IV. El caso Grok como detonante legislativo
Grok ocupa un lugar central como detonante legislativo de la nueva prohibición. Su integración en la plataforma X permitió que, en once días, se generaran alrededor de tres millones de imágenes sexualizadas, incluyendo decenas de miles de representaciones de menores de edad. La combinación de una gran base de usuarios, interfaz simple y una funcionalidad orientada a “desnudar” imágenes convirtió a Grok en un acelerador sin precedentes de violencia sexual digital.
La magnitud y velocidad de la difusión transformaron un problema de moderación en una crisis regulatoria. La Comisión Europea abrió una investigación formal y ordenó a X preservar documentación sobre el funcionamiento de Grok y las salvaguardas aplicadas frente a material sexualizado y de abuso infantil. Paralelamente, reguladores de otros países exigieron medidas inmediatas para impedir su uso con fines de explotación sexual.
Desde el punto de vista institucional, Grok mostró que cuando el mismo proveedor desarrolla el modelo base y controla la plataforma de despliegue, la atribución de responsabilidad y el ejercicio de la jurisdicción resultan más directos. El caso evidenció los límites de un modelo basado casi exclusivamente en transparencia y autorregulación, al demostrar que ciertas herramientas permiten industrializar la generación de deepfakes sexuales incluso de menores.
V. Contenido jurídico de la nueva prohibición
El acuerdo europeo distingue dos grandes categorías de prácticas prohibidas en materia de deepfakes sexuales. La primera abarca sistemas de IA diseñados específicamente para generar o manipular imágenes, videos o audios realistas de partes íntimas o de personas en actividades sexuales sin consentimiento explícito. Se parte de la idea de que existe una incompatibilidad estructural entre este tipo de sistemas y la protección de derechos fundamentales.
La segunda categoría se dirige a sistemas de propósito general que pueden ser usados para generar ese contenido si no cuentan con “medidas de seguridad razonables”. La responsabilidad se extiende más allá de la finalidad declarada y se centra en las capacidades efectivas y en los controles implementados. La prohibición incluye expresamente la generación de material de abuso sexual infantil mediante IA, ubicado en el núcleo duro de las prácticas vedadas.
Se establece un plazo de adaptación hasta el 2 de diciembre de 2026 y un esquema sancionatorio con multas de hasta 35 millones de euros o el 7% de la facturación global anual, el monto mayor. El nuevo régimen combina la exclusión del mercado de herramientas cuyo objeto principal es producir deepfakes sexuales no consentidos con un estándar reforzado de diligencia para modelos de propósito general.
VI. Cambio de paradigma: de la transparencia a la prohibición
En la etapa inicial de la regulación europea, el centro de gravedad estaba en el riesgo de engaño informativo. El problema se concebía como falta de transparencia sobre el origen sintético del contenido, y la respuesta consistía en exigir etiquetado y responsabilidades ex post.
El acuerdo del 7 de mayo de 2026 marca un giro: reconoce que en materia de deepfakes sexuales no basta con informar al público que el contenido es artificial. El daño se produce por la propia existencia de representaciones sexuales no consentidas, con independencia de que los receptores sepan que se trata de imágenes sintéticas. La transparencia atenúa ciertos riesgos de desinformación, pero no neutraliza la violencia que implica explotar digitalmente el cuerpo de una persona sin consentimiento.
La reforma puede leerse como una transición desde una “regulación de la información” hacia una “regulación de la posibilidad”, que interviene sobre qué capacidades tecnológicas resultan aceptables. Este cambio tiene implicancias más amplias, porque legitima la prohibición de determinadas prácticas de IA cuando la transparencia y la responsabilidad ex post se muestran insuficientes para proteger derechos fundamentales.
VII. Ambigüedad del estándar de “medidas de seguridad razonables” e impacto sobre desarrolladores
La noción de “medidas de seguridad razonables” es uno de los puntos más problemáticos del nuevo régimen. De su interpretación depende que un sistema de propósito general pueda operar lícitamente o sea considerado práctica prohibida por su capacidad de generar deepfakes sexuales no consentidos. Sin embargo, el estándar carece de definición técnica precisa.
Esta indeterminación genera riesgos de interpretaciones divergentes entre empresas y autoridades, lo que debilita la seguridad jurídica y dificulta la planificación del cumplimiento, especialmente para actores medianos y pequeños. También aumenta la discrecionalidad sancionatoria si no se acompaña de guías y precedentes consistentes.
En términos competitivos, los grandes desarrolladores pueden optar por sobrerregular sus sistemas, mientras que startups quedan en una zona de vulnerabilidad regulatoria. La ambigüedad se proyecta además sobre quienes integran modelos de terceros: no solo el proveedor del modelo base, sino también las plataformas que lo despliegan deben justificar las medidas adoptadas para impedir la producción de deepfakes sexuales.
VIII. Código abierto y límites estructurales de la prohibición
Los modelos de pesos abiertos plantean un desafío estructural a la eficacia del régimen europeo. Una vez publicados los pesos, terceros pueden descargar, modificar y reutilizar el sistema, eliminando filtros, reentrenando el modelo o creando interfaces dedicadas a producir deepfakes sexuales.
Esta dinámica genera un “efecto mole”: se restringe una herramienta comercial centralizada, pero emergen variantes abiertas o modificadas que ocupan su lugar. La capacidad estatal de excluir productos del mercado formal contrasta con la facilidad de replicación y circulación descentralizada del software abierto.
La respuesta normativa debe entenderse como parte de un ecosistema más amplio de políticas: control sobre interfaces comerciales basadas en modelos abiertos, auditorías de datos de entrenamiento, obligaciones de trazabilidad, investigación penal de usos concretos y cooperación internacional. El problema del código abierto demuestra que la regulación no puede descansar solo en la clasificación de prácticas prohibidas, sino que requiere instrumentos técnicos, penales y administrativos complementarios.
IX. Libertad de expresión, arte, sátira y ficción
La reforma preserva excepciones para contenidos artísticos, creativos, satíricos o ficcionales, lo que revela que no pretende prohibir toda manipulación sintética, sino aquellos usos que lesionan de forma especialmente intensa los derechos personalísimos. El objetivo es distinguir entre usos socialmente valiosos (parodia, crítica, experimentación artística) y usos degradantes que instrumentalizan la imagen ajena como objeto de explotación digital.
El principal problema es delimitar los contornos de estas excepciones. Una interpretación demasiado amplia de sátira o ficción puede funcionar como refugio para prácticas que producen deepfakes sexuales no consentidos, mientras que una lectura excesivamente restrictiva puede llevar a sobrecensura.
En este terreno, el consentimiento opera como criterio ordenado central: donde existe representación sexual no consentida de una persona identificable, se reduce drásticamente el margen para invocar libertad de expresión o creatividad artística. La experiencia comparada confirma que la libertad de expresión no es absoluta y puede limitarse cuando colisiona con honor, imagen, privacidad o integridad moral.
X. Debilidades técnicas del enforcement
La eficacia de la prohibición depende de su diseño normativo y de la disponibilidad de herramientas técnicas e institucionales para hacerla cumplir. Las marcas de agua y técnicas de etiquetado automático, pensadas para mejorar la trazabilidad, suelen ser frágiles y relativamente fáciles de eludir.
Los sistemas de detección de deepfakes funcionan sobre bases probabilísticas y pueden fallar ante ligeras variaciones en los métodos de generación o frente a estrategias diseñadas para engañarlos. Requieren actualizaciones constantes y recursos significativos para mantenerse al día.
En el plano organizacional, la verificación manual de grandes volúmenes de contenido exige capacidades técnicas y humanas que muchas autoridades y plataformas no tienen. La efectividad del régimen dependerá de la construcción de una infraestructura de cumplimiento robusta, con herramientas de monitoreo, cooperación con plataformas, mecanismos de preservación de evidencia y recursos suficientes para investigar y sancionar.
XI. Dimensión geopolítica
La discusión sobre deepfakes sexuales se inscribe en una competencia geopolítica más amplia alrededor de la regulación de la IA. La UE apuesta por un modelo “human‑centric”, basado en derechos fundamentales y en la prohibición de determinadas prácticas como riesgo inaceptable, frente a tradiciones más expansivas de libertad de expresión y autorregulación (Estados Unidos) o esquemas de tecnoestatismo centralizado (China).
Muchos proveedores de modelos generativos relevantes tienen su sede en Estados Unidos, de modo que las decisiones europeas pueden tener efectos extraterritoriales y generar tensiones transatlánticas. Al mismo tiempo, la cooperación internacional es indispensable porque contenidos, plataformas y modelos atraviesan fronteras con facilidad en un escenario tecnopolar dominado por pocas grandes corporaciones.
Este contexto produce fragmentación regulatoria global e incentivos al arbitraje normativo, con riesgo de relocalizar servicios hacia jurisdicciones con controles más laxos, especialmente en el Sur Global. La prohibición europea es, así, una respuesta a una forma específica de violencia digital y una apuesta por consolidar a la UE como poder regulatorio en IA generativa.
XII. Impacto sobre Grok, DALL‑E, Gemini y Stable Diffusion
Grok es el caso de mayor exposición. Su integración directa en X, el escándalo por millones de imágenes sexualizadas generadas en pocos días y las investigaciones europeas lo convierten en paradigma de la práctica que la prohibición busca erradicar. La coincidencia entre proveedor del modelo base y plataforma facilita la atribución de responsabilidad.
Tras la reacción internacional, X restringió generación y edición de imágenes con Grok, pero bajo el nuevo régimen deberá demostrar que ha implementado medidas de seguridad razonables para impedir contenido sexualizado no consentido y material de abuso infantil. DALL‑E 3 y Gemini/Imagen representan modelos de propósito general cerrados con filtros ya existentes, ahora sometidos a un estándar más alto que exige probar la eficacia de sus salvaguardas.
Stable Diffusion, en cambio, encarna el problema del código abierto: aunque la versión comercial pueda contener filtros, la disponibilidad de pesos permite que terceros creen variantes orientadas a producir exactamente el contenido prohibido. De este modo, el impacto del régimen se distribuye en tres patrones: máxima exposición para modelos integrados en grandes plataformas, carga de compliance reforzada para modelos cerrados de propósito general y zona de indeterminación regulatoria para modelos abiertos.
XIII. Uso previsto versus uso posible
La reforma reabre el debate sobre si la regulación de la IA debe organizarse en torno al uso previsto por el proveedor o incorporar centralmente los usos posibles de los sistemas. El AI Act fue concebido en buena medida a partir del criterio de uso previsto, pero la experiencia de los deepfakes sexuales revela sus límites frente a tecnologías de propósito general maleables.
Modelos generativos como Stable Diffusion, DALL‑E o Gemini no fueron diseñados exclusivamente para producir imágenes sexuales no consentidas, pero pueden adaptarse con relativa facilidad para ese fin. Esta capacidad latente desafía cualquier clasificación de riesgo que mire solo la finalidad declarada.
El nuevo régimen avanza hacia una lógica que toma en serio las capacidades del sistema más allá de su diseño formal. Al prohibir ciertos usos y exigir medidas de seguridad razonables a modelos de propósito general, la regulación empieza a basarse en el potencial de daño razonablemente previsible. Esto obliga a desarrolladores y operadores a demostrar que han mitigado los escenarios de abuso plausibles, sin convertir la responsabilidad en una carga ilimitada.
XIV. Perspectiva comparada: Argentina, América Latina y otros sistemas
En Argentina no existe aún una ley específica sobre deepfakes, pero jurisprudencia y doctrina han comenzado a abordar el fenómeno a partir de normas penales, de protección de datos y de violencia de género digital. Se amplía, por ejemplo, la interpretación del artículo 128 del Código Penal para abarcar representaciones sexuales simuladas de menores generadas por IA y se reconoce la difusión no consentida de material íntimo como forma de violencia de género digital. La Ley 27.736 (“Ley Olimpia”) incorporó la violencia digital como modalidad de violencia de género, aunque no regula de manera expresa los deepfakes.
En América Latina, la regulación de IA está en fase temprana, pero con avances influenciados por el modelo europeo, lo que confirma parcialmente el “efecto Bruselas”. La “Ley Olimpia” originada en México sirvió de modelo regional para tipificar la elaboración y difusión de contenido sexual íntimo sin consentimiento, real o simulado, como violación a la intimidad y forma de violencia contra las mujeres.
En Estados Unidos, la respuesta es fragmentaria y descentralizada. Algunos estados han aprobado leyes contra deepfakes pornográficos no consensuados y contra deepfakes de candidatos en períodos electorales, mientras se impulsan iniciativas federales que obligan a las plataformas a eliminar imágenes íntimas sin consentimiento y definen el concepto de deepfake. La comparación muestra convergencias en el reconocimiento del daño y divergencias en la arquitectura regulatoria: marco integral y basado en riesgos en la UE, reformas parciales en América Latina y enfoque sectorial en Estados Unidos.
XV. Gobernanza internacional de la IA generativa
La proliferación de modelos generativos capaces de producir deepfakes sexuales expone los límites de las regulaciones puramente nacionales o regionales. Iniciativas multilaterales como la Recomendación de la UNESCO sobre Ética de la IA o los principios de la OCDE han intentado fijar estándares comunes en materia de derechos humanos, transparencia y rendición de cuentas, aunque carecen de fuerza vinculante.
Se han propuesto esquemas más ambiciosos de gobernanza internacional, como observatorios globales de IA para monitorear desarrollos tecnológicos y coordinar respuestas ante incidentes de alto impacto. También se discute la creación gradual de capacidades de “gobernanza normativa” con cierta autoridad de aplicación limitada para aplicaciones de alto riesgo.
Sin embargo, la construcción de un régimen global enfrenta divergencias ideológicas, intereses económicos y desacuerdos sobre la arquitectura institucional más adecuada. La experiencia europea con la prohibición de deepfakes sexuales puede funcionar como laboratorio: su éxito o fracaso influirá en la elaboración de futuros estándares multilaterales.
XVI. Conclusiones
La prohibición de deepfakes sexuales aprobada por la UE constituye un punto de inflexión en la regulación de la IA generativa al introducir la idea de que ciertas aplicaciones son incompatibles con la protección de la intimidad, la dignidad y la integridad sexual y deben ser excluidas del mercado. El giro se articula en un cambio de paradigma desde la transparencia hacia la regulación de la posibilidad técnica, la incorporación de un estándar abierto de medidas de seguridad razonables para modelos de propósito general y la creación de una arquitectura sancionatoria robusta.
No obstante, la eficacia del régimen se ve condicionada por la ambigüedad de dicho estándar, los efectos sobre la competencia, los límites frente a modelos de código abierto y las debilidades técnicas y organizacionales del enforcement. El análisis de Grok, DALL‑E, Gemini y Stable Diffusion muestra impactos diferenciados según el lugar que cada modelo ocupa en el ecosistema y evidencia que la regulación no puede aplicarse de forma uniforme.
La perspectiva comparada con Argentina, América Latina y Estados Unidos revela un consenso creciente en calificar los deepfakes sexuales y la difusión no consentida de material íntimo como formas graves de violencia digital, pero también diferencias profundas en la arquitectura institucional escogida. En un escenario tecnopolar y de fragmentación regulatoria, la gobernanza internacional de la IA generativa emerge como un desafío central que requerirá articular estándares compartidos y mecanismos de cooperación transnacional para reducir zonas de impunidad. La prohibición europea debe entenderse, así, como un nodo de reconfiguración que obliga a repensar categorías jurídicas, modelos de compliance y articulaciones entre regulación regional y gobernanza global.
*https://sergiogustavobenaroya.online
Si desea participar de nuestra «Sección Doctrina», contáctenos aquí >>
