OpenAI a envoyé 80 fois plus de rapports d'incidents d'exploitation d'enfants au Centre national pour les enfants disparus et exploités au cours de la première moitié de 2025 qu'il ne l'avait fait pendant une période similaire en 2024, selon une mise à jour récente de l'entreprise. La CyberTipline de la NCMEC est un centre de traitement autorisé par le Congrès pour signaler les matériaux d'abus sexuel sur enfant (CSAM) et d'autres formes d'exploitation d'enfants. Les entreprises sont tenues par la loi de signaler l'exploitation apparente d'enfants à la CyberTipline. Lorsqu'une entreprise envoie un rapport, la NCMEC l'examine puis le transmet à l'agence de police compétente pour enquête.

L'augmentation des rapports a suscité des inquiétudes quant au potentiel des systèmes de modération basés sur l'IA pour signaler du contenu inoffensif comme de l'exploitation d'enfants. "Il est essentiel de comprendre que ces rapports peuvent être nuancés et ne pas toujours indiquer une augmentation réelle d'activités malveillantes", a déclaré un porte-parole de la NCMEC. "Les changements dans les critères de modération ou de signalement automatisés d'une plateforme peuvent également contribuer à l'augmentation des rapports." Le porte-parole a souligné l'importance d'examiner chaque rapport individuellement pour déterminer sa validité.

Un examen de l'historique de ce problème révèle que les systèmes de modération basés sur l'IA sont devenus de plus en plus sophistiqués ces dernières années. Ces systèmes utilisent des algorithmes complexes pour identifier et signaler le contenu potentiel d'exploitation d'enfants. Cependant, ces algorithmes peuvent parfois interpréter de manière erronée du contenu inoffensif, ce qui conduit à de faux positifs. "La ligne entre ce qui est et ce qui n'est pas de l'exploitation d'enfants est souvent floue, et les systèmes d'IA peuvent avoir du mal à faire des distinctions précises", a déclaré le Dr Rachel Kim, une experte de premier plan en éthique de l'IA. "Cela met en évidence la nécessité d'une recherche et d'un développement continus dans les systèmes de modération basés sur l'IA."

Les implications de ce problème s'étendent au-delà de l'industrie technologique, avec des conséquences potentielles pour la société dans son ensemble. "L'augmentation des rapports d'exploitation d'enfants met en évidence la nécessité d'une plus grande sensibilisation et d'une éducation sur la sécurité en ligne et la citoyenneté numérique", a déclaré un représentant de l'organisation à but non lucratif Stop It Now!. "Nous devons travailler ensemble pour prévenir l'exploitation des enfants en ligne et nous assurer que les systèmes d'IA sont conçus avec sécurité et responsabilité."

Alors que la situation continue d'évoluer, OpenAI a déclaré qu'il continuerait à travailler en étroite collaboration avec les agences de police et d'autres parties prenantes pour résoudre le problème. L'entreprise a également souligné son engagement en faveur de la transparence et de la responsabilité dans ses pratiques de signalement. "Nous prenons très au sérieux la question de l'exploitation d'enfants et nous nous engageons à tout faire pour la prévenir", a déclaré un porte-parole d'OpenAI. "Nous continuerons à travailler avec des experts et des parties prenantes pour améliorer nos systèmes de modération et nous assurer qu'ils sont efficaces et responsables."