OpenAI Moderation API возвращает признаки потенциально вредного содержания. Он не заменяет правила вашего сайта и не решает автоматически, кого банить. Для форума или чат-бота это инструмент предварительной проверки, а не готовый модератор сообщества.
Главная ошибка — считать, что отсутствие флага означает полное соответствие всем правилам. Реклама, флуд, публикация не в том разделе или грубость могут нарушать ваши требования независимо от оценки модели.
Что именно можно проверять
Текущая модель omni-moderation-latest принимает текст и изображения, но не классифицирует аудио. Отдельный endpoint модерации бесплатен. У разных категорий есть ограничения по поддерживаемому типу входа: ноль для неподдерживаемой категории изображения не доказывает безопасность картинки.Официальная документация отдельно запрещает отправлять заведомо известные или подозреваемые материалы сексуального насилия над детьми. Для них необходимы специальные процедуры, а не эксперимент с этим API.
Почему фильтр ругани — другая задача
Если правила сообщества запрещают определённые выражения, задайте это как отдельное требование. Не проверяйте наличие такого правила косвенно через классификатор вредного содержания.Пример учебный: сообщение может быть бесполезным рекламным спамом без угроз и оскорблений. И наоборот, автор жалобы может цитировать угрозу, чтобы попросить помощи у администрации. Решение о публикации зависит от контекста и правил, а не только от обнаруженного слова.
Полезно составить собственную таблицу: нарушение, допустимое исключение, действие модератора. Тогда станет видно, какие пункты покрывает классификатор, а какие требуют другой проверки.
Как читать ответ и не превращать оценку в приговор
flagged — общий признак потенциально вредного содержания. categories содержит признаки по категориям, category_scores — оценки уверенности от 0 до 1. OpenAI предупреждает: после обновления модели собственные пороги могут потребовать перенастройки.Оценка — сигнал для решения, а не готовое решение. Для пограничных случаев разумно предусмотреть очередь ручной проверки и возможность исправить ошибку.
Не устанавливайте один «волшебный» порог для всех задач. Цена ложного удаления жалобы и цена пропуска очевидного спама различаются. Сначала определите, какие ошибки наиболее болезненны именно для вашего продукта.
Проверка до генерации и вместе с ответом
Сейчас документация описывает и отдельную классификацию входа, и объект moderation в запросе генерации для оценок входного и выходного текста. Во втором варианте модель продолжает генерацию; приложение должно проверить результат перед показом пользователю.Поэтому встроенные оценки не следует считать способом автоматически остановить генерацию заранее. Если ваша логика требует сначала принять решение о допуске запроса, выстраивайте последовательность именно под это требование.
Как внедрить без массовых ошибочных удалений
- Опишите правила сообщества и действия для каждого нарушения.
- Подготовьте разрешённые к обработке примеры, включая спорные случаи и нормальные сообщения.
- Начните с наблюдения: сохраняйте решения системы, но не применяйте массовые санкции.
- Сравните результаты с решениями модератора и разберите причины расхождений.
- Включайте автоматические действия только для проверенных сценариев, оставляя пересмотр и журнал.
Этот план не является отчётом о точности модели. Тестовые вызовы для статьи не выполнялись. Поля ответа, поддерживаемые входы и актуальные способы интеграции проверяются по руководству OpenAI по модерации.