¿Cómo protegemos a nuestros niños de la IA generativaen redes sociales?

En la era digital, losniños en Latinoamérica están cada vez más conectados a través de plataformas
como Instagram, Facebook y WhatsApp. Desde IAvanza.co y nuestro newsletter de LinkedIn Descubre la IA en el Trabajo, nos preocupa profundamente cómoel avance de la inteligencia artificial generativa (GenAI) ha dado lugar a una nueva y alarmante amenaza: el material de abuso sexual infantil (MASI) generado
por IA. Esta situación no solo plantea un desafío crítico para la seguridad infantil en nuestra región, sino que también exige una respuesta urgente y coordinada para proteger a nuestros niños en este entorno digital cada vez más complejo.
Es por esto que este blog está dedicado a este tema, con el objetivo de mantenernos alerta y contribuir a dar la alarma sobre esta creciente peligro.

La Amenaza alarmante del MASI generado por IA
El material de abuso sexual infantil siempre ha sido un problema grave, pero la inteligencia artificial ha permitido que este contenido se cree y distribuya a una escala sin precedentes. En países de Latinoamérica, las autoridades han reportado un aumento significativo en casos relacionados con MASI. La accesibilidad y popularidad de plataformas de redes sociales en nuestra región facilitan la propagación de este material, creando un entorno peligroso para los menores.

Las estadísticassobre el material de abuso sexual infantil (MASI) en Latinoamérica son
alarmantes. A continuación, se presentan algunas cifras relevantes que ilustran
la gravedad del problema:

• Acceso a contenido explotativo antes de los 18 años: Un 70% de los usuarios hispano hablantes de material de explotación sexual infantil (MESNNA) accedieron a este contenido antes de los 18 años.
• Reportes de explotación sexual en Colombia: En Colombia, se han recibido 177,882 reportes de niños y adolescentes, de los cuales el 82% se refieren a material de explotación sexual de niñas, niños
  y adolescentes.
• Detección de MASI en la Dark Web: La Internet Watch Foundation (IWF) encontró miles de imágenes de MASI generadas por inteligencia artificial (IA) en un foro de la Dark Web en el Reino Unido.
• Crecimiento de MASI en línea: Las denuncias de material de abuso sexual en línea se han disparado un 15,000 por ciento en los últimos 15 años, según Thorn, una organización sin ánimo de lucro que desarrolla tecnología para combatir el abuso sexual infantil.
• Identificación de víctimas: El Programa de Identificación de Víctimas Infantiles (CVIP) del Centro Nacional para Menores Desaparecidos y Explotados (NCMEC) ha identificado a más de 19,000 niños.

Estasestadísticas reflejan la gravedad del problema y la necesidad de medidas efectivas para combatir el abuso sexual infantil en línea.

Las Dificultades en la Detección

La proliferación del MASI generado por IA (AIG-MASI) presenta desafíos únicos para su detección y
eliminación. Las herramientas actuales, aunque avanzadas, a menudo no pueden distinguir eficazmente entre contenido real y generado por IA. Los algoritmos de detección deben ser sofisticados para identificar las sutiles diferencias y evitar que el contenido dañino se propague, minimizando los falsos positivos.

Aunque se están desarrollando tecnologías avanzadas, estas aún tienen limitaciones significativas. Los modelos de IA deben entrenarse continuamente con nuevos datos y escenarios, lo que requiere recursos sustanciales. Además, los generadores de IA evolucionan rápidamente, creando contenido más realista que elude los filtros existentes.

En Latinoamérica, la falta de recursos tecnológicos y financieros agrava el problema. Muchas instituciones y fuerzas del orden público carecen de las herramientas y la capacitación necesarias para utilizar tecnologías avanzadas. Esto limita la capacidad de respuesta ante el creciente volumen de contenido ilícito en línea.

La gran cantidad deinformes sobre MASI puede abrumar a las autoridades y plataformas tecnológicas,
dificultando la identificación y priorización de casos críticos. La falta de metadatos específicos en muchos informes complica aún más esta tarea.

Los malos actores cambian constantemente sus tácticas para eludir la detección, utilizando
hashtags inofensivos, lenguaje codificado y plataformas menos vigiladas. Esto obliga a las plataformas y autoridades a actualizar y adaptar continuamente sus métodos.

La lucha contra el MASI requiere una colaboración internacional eficaz, pero las diferencias en legislaciones, recursos y tecnologías entre países pueden dificultar esta cooperación. Además, las medidas de detección deben equilibrarse con la protección de la privacidad y la libertad de expresión de los usuarios.

Estas dificultades reflejan la complejidad del problema y la necesidad de un enfoque multifacético
para combatir el MASI generado por IA en Latinoamérica.

Medidas propuestas para combatir el AIG-MASI

1. Responsabilidadde los desarrolladores de IA, debenimplementar prácticas de diseño más estrictas que incluyan la eliminación de MASI de los datos de entrenamiento y la limitación de consultas relacionadas con menores. Además, es necesario invertir en modelos de pruebas de estrés para
prever y mitigar el uso indebido de estas tecnologías.

2. Inversiónen tecnología de detección, lasplataformas digitales deben aumentar su inversión en tecnología de detección, utilizando algoritmos avanzados y técnicas de hash para identificar y eliminar
MASI. Aunque estas tecnologías son prometedoras, deben ser complementadas con métodos adicionales para reducir los falsos positivos y mejorar la precisión.
Alguna de lastecnologías utilizadas para detectar y eliminar el material de abuso sexual
infantil (MASI) en las plataformas en Latinoamérica incluyen:

• Detección automática y revisión manual: Google utiliza tecnología para disuadir y detectar el MASI en sus plataformas, incluyendo la detección automática y la revisión manual. Esto incluye la detección mediante coincidencia de hash y clasificadores de aprendizaje automático para descubrir MASI nunca antes detectado.
• API de Hash Matching de Google: proporciona al Centro Nacional para Menores Desaparecidos y Explotados (NCMEC) para ayudar a priorizar y revisar las denuncias de forma que se centre en las denuncias que implican niños que necesitan ayuda inmediata.
• CSAI Match: es una herramienta de YouTube diseñada para detectar videos que contengan MASI. Utiliza hashes para identificar contenido infractor conocido y permite a los socios revisar y confirmar las denuncias de forma manual.
• API de seguridad del contenido de Google: ofrece clasificación de imágenes y videos para ayudar a los analistas a identificar y priorizar las denuncias de MASI.
• Kit de herramientas de seguridad infantil: que incluye tecnologías como CSAI Match y la API de Hash Matching para ayudar a los socios a detectar y eliminar el MASI en sus plataformas.

Estas tecnologías yherramientas se utilizan en colaboración con organizaciones sin fines de lucro
y entidades gubernamentales para combatir el MASI en Latinoamérica y proteger a los niños en línea.

3. Apoyo y financiamiento gubernamental

Los gobiernos deLatinoamérica deben implementar leyes similares a la Ley REPORT de Estados
Unidos, proporcionando financiamiento adecuado a organizaciones locales que luchan contra el MASI. Esto permitirá una mejor gestión del aumento en los informes y una respuesta más eficaz a esta crisis.

4. Rolimportante de los padres

Los padres desempeñanun papel fundamental en la protección de sus hijos. Deben educar a sus hijos
sobre los peligros en línea, mantener privados sus perfiles en redes sociales y utilizar herramientas como búsquedas inversas de imágenes para identificar y eliminar fotos no autorizadas. Además, es vital que los padres supervisen las actividades en línea de sus hijos y establezcan límites claros.

La seguridad yel bienestar de nuestros niños en esta era digital deben ser una prioridad máxima. La inteligencia artificial generativa ha complicado la lucha contra el material de abuso sexual infantil, pero no debemos quedarnos de brazos cruzados.
Es necesario que todos los actores involucrados – desarrolladores de inteligencia artificial, plataformas digitales, gobiernos, organizaciones sin fines de lucro, fuerzas del orden y padres – trabajemos juntos de manera coordinada y proactiva.

Como sociedad, debemosfomentar la implementación de tecnologías avanzadas para la detección y
eliminación de MASI, garantizar el apoyo y financiamiento adecuados a las organizaciones que luchan contra este problema, y educar a los padres y niños sobre los peligros en línea. Los desarrolladores de IA tienen la responsabilidad de construir sistemas más seguros y robustos, mientras que las plataformas digitales deben invertir en tecnologías de detección efectivas y colaborar con las autoridades.

Hacemos un llamado a todos los ciudadanos a mantenerse informados y vigilantes. Cada uno de nosotros
puede contribuir a esta causa: reportando contenido sospechoso, participando en campañas de concientización, y protegiendo activamente a nuestros niños en el ámbito digital. Solo a través de un esfuerzo colectivo podremos crear un entorno más seguro y saludable para nuestros niños en Latinoamérica.

Todos podemos contribuir para hacer la diferencia. La protección de nuestros niños es una responsabilidad compartida y una prioridad que no podemos ignorar.

Buena semana para todos,

Adriana Páez Pino