La inteligencia artificial generativa es capaz de crear contenidos de alta calidad, como textos, imágenes, vídeos, canciones, poemas y seminarios web. Esta tecnología puede generar resultados positivos, ya que permite aumentar la productividad y la precisión de los procesos internos y las actividades repetitivas.
Sin embargo, el uso indebido de la IA puede representar riesgos importantes para los usuarios y las personas o grupos afectados por ella. En los últimos meses, se han registrado varios casos en todo el mundo de violencia contra menores relacionados con la difusión de contenidos pornográficos falsos generados por inteligencia artificial hiperrealista (también conocidos como deep fakes). En la ciudad de Almendralejo, provincia de Badajoz, un grupo de adolescentes es investigado por la creación y difusión de imágenes de desnudez falsas con IA de 21 mujeres adolescentes.
Aunque la legislación penal española recoge el delito de pornografía infantil virtual o técnica, no existe un dispositivo legal específico para las prácticas de generación de contenido por medio de inteligencia artificial. A raíz de esta circunstancia, la Comisión Europea inicia un movimiento legislativo para actualizar las definiciones de las normativas comunitarias de protección de menores e incluir las nuevas formas de abuso sexual hechos por medios digitales.
Como consecuencia, se ampliará la interpretación sobre de conductas delictivas de fabricación, pose o distribución de material de abuso sexual infantil para incluir la intervención de la IA. Discusiones como la responsabilidad por la producción de contenidos mediante inteligencia artificial ascienden a un contexto de responsabilidad penal. Será cada vez más esencial que las empresas que desarrollen e implanten estos sistemas adopten medidas para prevenir los riesgos y controlar los resultados de la IA.