OpenAIは、2025年上半期に、2024年同期に比べて80倍多くの児童虐待事件報告を国家行方不明・児童虐待センター（NCMEC）に送信したと最近の会社のアップデートにより明らかになった。NCMECのサイバーティップラインは、児童性虐待物（CSAM）やその他の児童虐待に関する報告のための議会承認のクリアリングハウスである。会社は法律により、明らかな児童虐待をサイバーティップラインに報告する義務がある。会社が報告を送信すると、NCMECはそれをレビューし、調査のために適切な法執行機関に転送する。

報告の増加は、AI駆動のモデレーションシステムが無害なコンテンツを児童虐待と間違えてフラグする可能性について懸念を引き起こしている。「これらの報告は微妙なものであり、常に悪意のある活動の増加を示すわけではないことを理解することが重要である」と、NCMECのスポークスパーソンは述べた。「プラットフォームの自動モデレーションまたは報告基準の変更も報告の増加に寄与する可能性がある」とスポークスパーソンは強調した。スポークスパーソンは、各報告を個別にレビューしてその有効性を判断することの重要性を強調した。

この問題の背景は、AI駆動のモデレーションシステムが近年著しく進化していることを示している。これらのシステムは、複雑なアルゴリズムを使用して潜在的な児童虐待コンテンツを識別してフラグする。しかし、これらのアルゴリズムは時々無害なコンテンツを誤って解釈し、偽陽性を引き起こすことがある。「児童虐待であるかどうかの境界線は souvent曖昧であり、AIシステムは正確な区別を付けるのに苦労することがある」と、AI倫理の第一人者であるレイチェル・キム博士は述べた。「これは、AI駆動のモデレーションシステムにおける継続的な研究と開発の必要性を強調している」

この問題の影響はテクノロジー業界を超えており、社会全体に潜在的な結果をもたらす。「児童虐待報告の増加は、オンライン安全性とデジタル市民権についての認識と教育の必要性を強調している」と、非営利組織「ストップ・イット・ナウ！」の代表は述べた。「私たちは協力して、オンラインでの児童虐待を防止し、AIシステムが安全性と責任を持って設計されることを確実にする必要がある」

状況が進化するにつれて、OpenAIは、法執行機関や他の利害関係者と密接に協力してこの問題に対処することを表明した。会社はまた、報告慣行における透明性と説明責任への取り組みを強調した。「私たちは児童虐待の問題を非常に重く見ており、防止するためにできる限りのことを行うことを約束している」と、OpenAIのスポークスパーソンは述べた。「私たちは専門家や利害関係者と協力して、モデレーションシステムを改善し、効果的かつ責任を持って設計されることを確実にするために継続的に取り組む」