Leveraging Large-scale Multimedia Datasets to Refine Content Moderation Models

要約

ユーザーが作成したオンライン コンテンツの膨大な量により、デジタル プラットフォームの視聴者を不安、心配、懸念を引き起こす可能性のあるコンテンツから保護するために、コンテンツ モデレート テクノロジが不可欠になっています。
この問題に取り組むための自動化されたソリューションの開発に向けた努力にもかかわらず、適切なタスク固有のトレーニング データが不足しているため、正確なモデルを作成することは依然として困難です。
このようなデータに手動で注釈を付けることが非常に要求の厳しい手順であり、注釈者の感情的な幸福に深刻な影響を与える可能性があるという事実は、後者の制限に直接関係しています。
このホワイト ペーパーでは、大規模なマルチメディア データセットを活用して、人間のアノテーターの関与を大幅に削減しながら、コンテンツ モデレーション モデルを改良できるハード サンプルを含む初期トレーニング データセットを自動的に拡張する CM-Refinery フレームワークを提案します。
データの収集中に観察されたさまざまな課題、つまり (i) タスク固有の負のデータまたは (ii) 正と負の両方のデータの欠如に関して設計された 2 つのモデル適応戦略に、この方法を適用します。
さらに、洗練されたモデルの一般化パフォーマンスをさらに向上させるデータ収集プロセスに適用される多様性基準を導入します。
提案された方法は、最新技術と比較して、それぞれ 1.32% および 1.94% の精度向上を達成するベンチマーク データセットの Not Safe for Work (NSFW) および邪魔なコンテンツ検出タスクで評価されます。
最後に、NSFW タスクに人間の介入を必要とせずに、邪魔なコンテンツの場合にデータの 92.54% に自動的に注釈が付けられるため、人間の関与が大幅に削減されます。

要約(オリジナル)

The sheer volume of online user-generated content has rendered content moderation technologies essential in order to protect digital platform audiences from content that may cause anxiety, worry, or concern. Despite the efforts towards developing automated solutions to tackle this problem, creating accurate models remains challenging due to the lack of adequate task-specific training data. The fact that manually annotating such data is a highly demanding procedure that could severely affect the annotators’ emotional well-being is directly related to the latter limitation. In this paper, we propose the CM-Refinery framework that leverages large-scale multimedia datasets to automatically extend initial training datasets with hard examples that can refine content moderation models, while significantly reducing the involvement of human annotators. We apply our method on two model adaptation strategies designed with respect to the different challenges observed while collecting data, i.e. lack of (i) task-specific negative data or (ii) both positive and negative data. Additionally, we introduce a diversity criterion applied to the data collection process that further enhances the generalization performance of the refined models. The proposed method is evaluated on the Not Safe for Work (NSFW) and disturbing content detection tasks on benchmark datasets achieving 1.32% and 1.94% accuracy improvements compared to the state of the art, respectively. Finally, it significantly reduces human involvement, as 92.54% of data are automatically annotated in case of disturbing content while no human intervention is required for the NSFW task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google