OpenAI는 2025년 상반기 동안 2024년 同 기간에 비해 아동 착취 사건 보고서를 미국 아동 실종 및 착취 방지 센터(National Center for Missing Exploited Children, NCMEC)에게 80배 더 많이 보냈다고 최근 업데이트에서 밝혔다. NCMEC의 사이버ティ플라인(CyberTipline)은 아동 성 착취 자료(CSAM) 및 기타 아동 착취 형태를 보고하는 의회에서 승인한 클리링하우스이다. 회사들은 법에 따라 아동 착취의 징조를 사이버티플라인에 보고해야 한다. 회사에서 보고서를 보낼 때 NCMEC는 이를 검토한 후 적절한 법 집행 기관에 조사하기 위해 전달한다.

보고서의 증가로 인해 AI 주도 모더레이션 시스템이 무해한 콘텐츠를 아동 착취로 잘못 표시할 가능성에 대한 우려가 제기되고 있다. "이 보고서가 항상 악의적인 활동의 실제 증가를 나타내는 것은 아니라는 것을 이해하는 것이 중요하다"고 NCMEC의 대변인은 말했다. "플랫폼의 자동 모더레이션 또는 보고 기준의 변경도 보고서의 증가에 기여할 수 있다"고 강조했다. 대변인은 각 보고서의 유효성을 판단하기 위해 개별적으로 검토하는 것이 중요하다고 강조했다.

이 문제에 대한 배경은 최근 몇 년 동안 AI 주도 모더레이션 시스템이 점점 더 정교해졌음을 보여준다. 이러한 시스템은 잠재적인 아동 착취 콘텐츠를 식별하고 표시하기 위해 복잡한 알고리즘을 사용한다. 그러나 이러한 알고리즘은 때때로 무해한 콘텐츠를 잘못 해석하여 거짓 양성으로 이어질 수 있다. "아동 착취가 무엇인지 아닌지의 경계는 souvent 불분명하며, AI 시스템은 정확한 구별을 하기 위해 어려움을 겪을 수 있다"고 AI 윤리 분야의 선도적인 전문가인 Rachel Kim 박사는 말했다. "이는 AI 주도 모더레이션 시스템에서 지속적인 연구와 개발의 필요성을 강조한다."

이 문제의 영향은 기술 산업을 넘어서 사회 전체에 영향을 미칠 수 있다. "아동 착취 보고서의 증가로 인해 온라인 안전과 디지털 시민권에 대한 더 큰 인식과 교육의 필요성이 강조된다"고 비영리 단체인 Stop It Now!의 대표는 말했다. "우리는 함께 아동의 온라인 착취를 방지하고 AI 시스템이 안전과 책임을 고려하여 설계되도록 해야 한다."

이 상황이 계속 진행됨에 따라 OpenAI는 법 집행 기관 및 기타 이해관계자와 밀접하게 협력하여 이 문제를 해결하기 위해 노력할 것이라고 밝혔다. 회사에서는 또한 보고 관행에서 투명성과 책임성을 강조했다. "우리는 아동 착취 문제를 매우 심각하게 생각하며 이를 방지하기 위해 모든 수단을 동원할 것"이라고 OpenAI의 대변인은 말했다. "우리는 전문가와 이해관계자와 협력하여 모더레이션 시스템을 개선하고 효과적이고 책임 있는지 확인하기 위해 계속 노력할 것"이라고 말했다.