OpenAI는 2025년 상반기 동안 2024년 동기에 비해 아동 학대 사건 보고서를 미국 아동 실종 및 학대 방지 센터(National Center for Missing Exploited Children, NCMEC)에 80배 더 많이 보냈다고 최근 업데이트에서 밝혔다. NCMEC의 사이버 신고 센터(CyberTipline)는 의회에서 승인한 아동 성적 학대 자료(CSAM) 및 기타 형태의 아동 학대 신고를 위한 정보 교환 센터이다. 회사들은 법적으로 사이버 신고 센터에 아동 학대가 의심되는 경우를 보고해야 한다. 회사에서 보고서를 보낼 때, NCMEC는 이를 검토한 후 적절한 법 집행 기관에 수사 요청을 한다.

보고서의 급격한 증가로 인해 AI 생성 콘텐츠가 악의적인 목적으로 악용될 가능성에 대한 우려가 높아졌다. "정확한 증가 원인을 확인할 수는 없지만, AI 시스템이 유해한 콘텐츠를 생성하고 전파할 수 있다는 것을 인정하는 것이 중요하다"라고 OpenAI 대변인은 말했다. 이 회사는 유해한 콘텐츠를 플랫폼에서检测하고 제거하는 데 자동화된 모더레이션 도구의 개선을 강조했지만, 일부 전문가들은 이러한 조치의 효과에 대해 의문을 제기하며, AI 시스템이 탐지를 피할 수 있도록 훈련될 수 있다고 지적했다.

미국 아동 실종 및 학대 방지 센터는 OpenAI와 같은 회사들과 더 효과적인 아동 학대 신고 전략을 개발하기 위해 긴밀히 협력하고 있다. "우리는 아동의 안전과 복지를 우선시하는 OpenAI와 같은 회사의 노력을赞赏한다"라고 NCMEC 대표는 말했다. "그러나 우리 시스템이 CSAM을 탐지하고 확산을 방지하기에 충분히 강력하지 않다는 것을 인정해야 한다."

AI 생성 콘텐츠의 부상은 특히 아동 학대와 관련하여 사회에重大한 영향을 미친다. AI 시스템이 점점 더 정교해짐에 따라, 실제 이미지나 동영상과 구별하기 어려운 매우 실제적인 콘텐츠를 생성할 수 있다. 이것은 AI 생성 콘텐츠가 악의적인 목적으로, 예를 들어 아동의 성장 또는 모집에 사용될 가능성에 대한 우려를 높였다.

우려가 커짐에 따라, NCMEC는 아동 학대를 탐지하고 방지하기 위한 더 효과적인 AI 기반 도구를 개발하기 위한 새로운 이니셔티브를 시작했다. 이 이니셔티브는 잠재적으로 문제가 있는 콘텐츠를 식별하고 표시할 수 있는 더 정교한 AI 시스템을 개발하기 위해 산업, 학계, 법 집행 기관의 전문가들을 모으는 것을 목표로 한다. 이 이니셔티브의 정확한 일정은 명확하지 않지만, 전문가들은 아동 학대와의 싸움에서重大한 영향을 미칠 수 있을 것으로 믿는다.

AI 생성 콘텐츠에 대한 논의가 계속됨에 따라, 한 가지 명확한 것은 아동 학대를 탐지하고 방지하기 위한 더 효과적인 전략의 필요성이 कभ누가보다 더 긴급해졌다는 것이다. AI 생성 콘텐츠의 부상과 함께, OpenAI와 같은 회사는 아동의 안전과 복지를 계속 우선시해야 하며, NCMEC와 같은 기관과 긴밀히 협력하여 CSAM을 식별하고 신고하기 위한 더 강력한 시스템을 개발해야 한다.