La Fiscalía General de California ha anunciado la apertura de una investigación contra xAI, la empresa responsable del modelo Grok, y ha remitido una orden de cese y desistimiento exigiendo la paralización inmediata de la generación y difusión de imágenes sexuales no consentidas y material de abuso sexual infantil. La actuación se produce tras múltiples informes que describen un uso sistemático del sistema para crear deepfakes sexuales de mujeres y menores a partir de imágenes ordinarias disponibles en internet, sin conocimiento ni consentimiento de las personas afectadas, lo que sitúa el caso más allá de incidentes aislados y apunta a un fenómeno de escala industrial.
El fiscal general Rob Bonta ha calificado los hechos como una vulneración grave de la ley californiana, subrayando que la creación de este tipo de contenidos es ilegal y que el estado mantiene una política de tolerancia cero frente al CSAM, incluso cuando este es generado mediante tecnologías sintéticas. Desde la perspectiva de la Fiscalía, la reside en la capacidad del modelo para producir este contenido de forma masiva, rápida y con un elevado nivel de realismo, lo cual provoca a las víctimas un daño reputacional, psicológico y social.
Un elemento central en la investigación es la funcionalidad denominada “spicy mode”, incorporada deliberadamente por xAI para permitir la generación de contenido explícito. El regulador cuestiona, además del uso indebido por parte de los usuarios, el propio diseño del sistema, sugiriendo que la inclusión de esta funcionalidad ha reducido significativamente las barreras técnicas para la creación de material ilícito. Este enfoque desplaza el análisis jurídico hacia la posible responsabilidad del proveedor por facilitar o habilitar, por diseño, comportamientos ilegales previsibles.
La orden de cese y desistimiento impone a xAI la obligación de demostrar, en un plazo de cinco días, que ha adoptado medidas técnicas y organizativas efectivas para frenar la producción de estos contenidos. No se trata de compromisos abstractos ni de ajustes cosméticos en políticas de uso, sino de la existencia de controles preventivos reales capaces de impedir la generación de imágenes no consentidas y de detectar cualquier intento de producir CSAM.
Este caso ha adquirido rápidamente una dimensión internacional. Autoridades de Japón, Canadá y el Reino Unido han iniciado investigaciones paralelas, mientras que Malasia e Indonesia han optado por bloquear temporalmente el acceso a la plataforma.
La actuación de California evidencia una tendencia regulatoria clara hacia la atribución de responsabilidad directa a los proveedores de sistemas de IA cuando el diseño y despliegue de los modelos generan riesgos sistémicos para derechos fundamentales. El foco se desplaza de la persecución de usos ilegales individuales a la evaluación de la arquitectura del sistema, sus incentivos comerciales y su gobernanza, con el objetivo de determinar si existe una diligencia suficiente para prever y prevenir daños, en un contexto de creciente presión legislativa para frenar la proliferación de deepfakes sexuales.
Los reguladores están dispuestos a intervenir de forma directa y rápida cuando perciben que una tecnología, tal como está diseñada y desplegada, produce daños graves a gran escala. Para el sector, esto implica que el compliance legal en materia de IA ya no puede abordarse como un ejercicio reactivo, sino como un componente estructural del diseño, desarrollo y comercialización de cualquier sistema con capacidad generativa avanzada.