OpenAI a envoyé 80 fois plus de rapports d'incidents d'exploitation d'enfants au Centre national pour les enfants disparus et exploités au cours de la première moitié de 2025 qu'il ne l'avait fait pendant une période similaire en 2024, selon une mise à jour récente de l'entreprise. La CyberTipline du NCMEC est un centre de traitement autorisé par le Congrès pour signaler les abus sexuels sur les enfants (CSAM) et d'autres formes d'exploitation d'enfants. Les entreprises sont tenues par la loi de signaler les cas apparents d'exploitation d'enfants à la CyberTipline. Lorsqu'une entreprise envoie un rapport, le NCMEC l'examine puis le transmet à l'agence de police compétente pour enquête.

L'augmentation importante des rapports a suscité des inquiétudes quant au potentiel de contenu généré par l'IA à être utilisé à des fins malveillantes. "Bien que nous ne puissions pas confirmer la cause exacte de l'augmentation, il est essentiel de reconnaître que les systèmes d'IA peuvent être utilisés pour créer et diffuser du contenu préjudiciable", a déclaré un porte-parole d'OpenAI. L'entreprise a souligné son engagement à détecter et supprimer un tel contenu de ses plateformes, en citant les améliorations apportées à ses outils de modération automatisés. Cependant, certains experts ont remis en question l'efficacité de ces mesures, soulignant que les systèmes d'IA peuvent être formés pour éviter la détection.

Le Centre national pour les enfants disparus et exploités travaille en étroite collaboration avec des entreprises comme OpenAI pour développer des stratégies plus efficaces pour identifier et signaler l'exploitation d'enfants. "Nous apprécions les efforts des entreprises comme OpenAI pour donner la priorité à la sécurité et au bien-être des enfants", a déclaré un représentant du NCMEC. "Cependant, nous reconnaissons également qu'il reste encore beaucoup à faire pour nous assurer que nos systèmes sont suffisamment robustes pour détecter et prévenir la diffusion de CSAM".

L'essor du contenu généré par l'IA a des implications importantes pour la société, en particulier dans le contexte de l'exploitation d'enfants. À mesure que les systèmes d'IA deviennent de plus en plus sophistiqués, ils peuvent être utilisés pour créer du contenu très réaliste et convaincant qui peut être difficile à distinguer des images ou des vidéos réelles. Cela a suscité des inquiétudes quant au potentiel de contenu généré par l'IA à être utilisé à des fins malveillantes, telles que le grooming ou le recrutement d'enfants.

En réponse aux préoccupations croissantes, le NCMEC a lancé une nouvelle initiative pour développer des outils plus efficaces alimentés par l'IA pour détecter et prévenir l'exploitation d'enfants. L'initiative vise à rassembler des experts de l'industrie, du monde universitaire et des forces de l'ordre pour développer des systèmes d'IA plus sophistiqués qui peuvent identifier et signaler du contenu potentiellement problématique. Même si le calendrier exact de l'initiative n'est pas clair, les experts estiment qu'elle a le potentiel de avoir un impact significatif dans la lutte contre l'exploitation d'enfants.

Alors que le débat autour du contenu généré par l'IA se poursuit, une chose est claire : le besoin de stratégies plus efficaces pour détecter et prévenir l'exploitation d'enfants n'a jamais été plus pressant. Avec l'essor du contenu généré par l'IA, les entreprises comme OpenAI doivent continuer à donner la priorité à la sécurité et au bien-être des enfants et travailler en étroite collaboration avec des organisations comme le NCMEC pour développer des systèmes plus robustes pour identifier et signaler les CSAM.