La Fiscalía General de California está impulsando la creación de un programa específico de supervisión y rendición de cuentas en inteligencia artificial (IA) mientras investiga a xAI, la empresa de Elon Musk, por la generación de imágenes sexualmente explícitas no consentidas mediante su chatbot Grok. La investigación se inició tras detectarse contenido sexualizado que afectaba a adultos y potencialmente a menores, lo que motivó el envío de una orden de cese y desistimiento el pasado mes de enero.
Las autoridades buscan confirmar que estas prácticas han cesado y mantienen conversaciones con la compañía. Desde la fiscalía se subraya que detener la conducta no exime de responsabilidad por los hechos ya ocurridos. Asimismo, se sostiene que la empresa habría intentado eludir responsabilidades y que aún permitiría cierto contenido sexualizado para usuarios de pago. Por su parte, xAI afirma haber implementado medidas para rechazar solicitudes de imágenes sexualizadas de personas reales y bloquear este tipo de contenidos en jurisdicciones donde es ilegal.
El caso se enmarca en investigaciones regulatorias internacionales sobre los riesgos del contenido sexual generado por IA. En este contexto, California está reforzando su papel como supervisor activo ante la parálisis regulatoria federal. La fiscalía ha advertido de los riesgos de otorgar al Congreso autoridad exclusiva en esta materia y ha anunciado que está ampliando sus capacidades técnicas mediante un programa interno de supervisión y regulación de IA.
Entre las preocupaciones señaladas se incluyen los riesgos asociados a chatbots que mantengan conversaciones sexuales con menores o que promuevan autolesiones. Asimismo, las autoridades estatales han trasladado a OpenAI su interés continuo en la seguridad de sus productos y servicios. Paralelamente, la legislatura estatal estudia una ley que obligaría a formalizar este programa de especialización en IA dentro de la fiscalía.
Estos acontecimientos ponen de manifiesto el creciente protagonismo de los Estados en la gobernanza tecnológica en Estados Unidos. El fiscal general de Connecticut ha calificado los daños derivados de la IA y las redes sociales como el principal desafío actual en protección del consumidor, advirtiendo que su impacto podría superar al de la crisis de los opioides. Las preocupaciones regulatorias se centran especialmente en la protección de menores y en los riesgos sociales derivados de la IA generativa.
Este caso anticipa un incremento del enforcement estatal en materia de inteligencia artificial, especialmente en ámbitos como contenidos ilícitos, protección de menores y prácticas engañosas. Las empresas que desarrollan IA generativa deberán reforzar los mecanismos de prevención, moderación y trazabilidad del contenido para mitigar riesgos regulatorios y de responsabilidad civil. Asimismo, se intensifica el deber de diligencia en el diseño y supervisión de funcionalidades potencialmente dañinas.