Un estudio pionero realizado por las universidades de Durham y Swansea ha encendido las alarmas globales al revelar que los chatbots de inteligencia artificial están creando y sofisticando formas de violencia contra mujeres y niñas. El informe, titulado Ya no somos invisibles, documenta cómo plataformas como ChatGPT, Replika y Chub AI no solo pueden ser utilizadas para generar contenido abusivo, sino que en algunos casos inician, validan y trivializan conductas de agresión sexual, incluyendo pedofilia, incesto y violación a través de juegos de rol simulados.

Los investigadores identificaron cuatro categorías críticas de violencia: la impulsada por el software (donde la IA inicia el abuso), la habilitada (donde guía a acosadores), la simulada (coproducción de escenarios violentos) y la normalizadora. Un hallazgo perturbador del estudio muestra cómo ciertos modelos responden positivamente a consultas sobre violencia sexual, calificando actos coercitivos como “excitantes”. Esta “invisibilidad” del abuso en las agendas de investigación actuales representa, según los académicos, un riesgo estructural que deja a las regulaciones actuales, como la Ley de Seguridad en Línea, como “totalmente insuficientes”.

Ante estos resultados, gigantes tecnológicos han salido a la defensa de sus sistemas. OpenAI afirmó que los ejemplos citados corresponden a modelos antiguos y que sus versiones actuales poseen restricciones de contenido mucho más robustas. Por su parte, Replika aseguró haber realizado inversiones significativas en seguridad desde la recopilación de los datos en 2023, subrayando que su plataforma es exclusiva para mayores de 18 años. Sin embargo, el debate legislativo en el Reino Unido se intensifica, con propuestas que permitirían a la Secretaría de Tecnología restringir o prohibir el acceso de menores a estos servicios si no se garantizan entornos digitales seguros.

MF