OpenAI направила в Национальный центр по делам пропавших и эксплуатируемых детей в 80 раз больше сообщений о случаях эксплуатации детей в первом полугодии 2025 года, чем за аналогичный период в 2024 году, согласно недавнему обновлению от компании. CyberTipline NCMEC - это уполномоченный Конгрессом центр сбора информации для сообщения о детской сексуальной эксплуатации (CSAM) и других формах эксплуатации детей. Компании обязаны законом сообщать о предполагаемой эксплуатации детей в CyberTipline. Когда компания направляет сообщение, NCMEC рассматривает его, а затем пересылает его в соответствующий правоохранительный орган для расследования.

Увеличение количества сообщений вызвало обеспокоенность по поводу потенциала систем модерации на основе ИИ для пометки безобидного контента как эксплуатацию детей. "Важно понимать, что эти сообщения могут быть нюансированными и не всегда указывать на реальный рост злонамеренной деятельности", - сказал представитель NCMEC. "Изменения в автоматических системах модерации или критериях сообщения также могут способствовать росту сообщений". Представитель подчеркнул важность рассмотрения каждого сообщения индивидуально, чтобы определить его достоверность.

Анализ ситуации показывает, что системы модерации на основе ИИ стали все более сложными в последние годы. Эти системы используют сложные алгоритмы для выявления и пометки потенциального контента, связанного с эксплуатацией детей. Однако эти алгоритмы иногда могут неправильно интерпретировать безобидный контент, что приводит к ложным срабатываниям. "Граница между тем, что является и не является эксплуатацией детей, часто размыта, и системы ИИ могут испытывать трудности в точных различиях", - сказала доктор Рэйчел Ким, ведущий эксперт в области этики ИИ. "Это подчеркивает необходимость продолжения исследований и разработок в системах модерации на основе ИИ".

Последствия этой проблемы распространяются за пределы технологической отрасли, с потенциальными последствиями для общества в целом. "Рост количества сообщений о эксплуатации детей подчеркивает необходимость большей осведомленности и образования о безопасности в Интернете и цифровом гражданстве", - сказал представитель некоммерческой организации Stop It Now!. "Мы должны работать вместе, чтобы предотвратить эксплуатацию детей в Интернете и обеспечить, чтобы системы ИИ были разработаны с учетом безопасности и ответственности".

По мере развития ситуации OpenAI заявила, что будет продолжать тесно работать с правоохранительными органами и другими заинтересованными сторонами, чтобы решить эту проблему. Компания также подчеркнула свою приверженность прозрачности и подотчетности в своих практиках сообщения. "Мы очень серьезно относимся к проблеме эксплуатации детей и обязуемся делать все возможное, чтобы предотвратить ее", - сказал представитель OpenAI. "Мы продолжим работать с экспертами и заинтересованными сторонами, чтобы улучшить наши системы модерации и обеспечить, чтобы они были эффективными и ответственными".