OpenAIは、2025年前半に、2024年同期に報告した児童虐待事件の約80倍の報告書を、National Center for Missing & Exploited Children（NCMEC）に提出していることが、同社の最近のアップデートにより明らかになった。NCMECのCyberTiplineは、児童性虐待物（CSAM）やその他の児童虐待に関する報告のための議会承認のクリアリングハウスである。企業は、児童虐待の疑いのある事例をCyberTiplineに報告することが法律で義務付けられている。企業が報告書を送信すると、NCMECはそれを確認し、調査のために適切な法執行機関に転送する。

報告書の急増は、AI生成コンテンツが悪意のある目的で誤用される可能性について懸念を引き起こしている。「増加の正確な原因を確認することはできないが、AIシステムが有害なコンテンツを作成して拡散することができることを認めることが重要である」と、OpenAIのスポークスパーソンは述べた。同社は、自動モデレーションツールの改善を引用しながら、プラットフォームからそのようなコンテンツを検出して削除することに尽力していることを強調している。しかし、一部の専門家は、これらの措置の有効性に疑問を投げかけ、AIシステムが検出を回避するようにトレーニングできることを指摘している。

NCMECは、OpenAIのような企業と協力して、児童虐待を特定して報告するためのより効果的な戦略を開発してきた。「私たちは、OpenAIのような企業が子供の安全と幸福を優先する努力を評価しています」と、NCMECの代表者は述べた。「しかし、システムがCSAMの検出と拡散防止に十分な強度を持っていることを保証するために、まだ多くの作業が必要であることも認識しています。」

AI生成コンテンツの台頭は、特に児童虐待の文脈において、社会に重大な影響を及ぼしている。AIシステムが高度化するにつれて、実際の画像や動画と区別がつかない、高度にリアルなコンテンツを作成することが可能になる。これにより、AI生成コンテンツが悪意のある目的、たとえば子供の勧誘やリクルートメントに使用される可能性について懸念が生じている。

増大する懸念に対応して、NCMECは、児童虐待の検出と防止のためのより効果的なAIパワードツールを開発するための新しいイニシアチブを立ち上げた。このイニシアチブは、業界、学術、法執行の専門家を集めて、潜在的に問題のあるコンテンツを特定してフラグ付けできるより高度なAIシステムを開発することを目的としている。イニシアチブの正確なタイムラインは不明であるが、専門家は、児童虐待との闘いに大きな影響を与える可能性があると信じている。

AI生成コンテンツに関する議論が続く中、ひとことが明らかである。児童虐待の検出と防止のためのより効果的な戦略の必要性は、以前より切実である。AI生成コンテンツの台頭に伴い、OpenAIのような企業は、子供の安全と幸福を優先し、CSAMの特定と報告のためのより堅牢なシステムを開発するために、NCMECのような組織と密接に協力する必要がある。