Hybrid moderation in the newsroom: Recommending featured posts to content moderators

要約

オンライン ニュース報道機関は、コメント セクション内でユーザーが作成したコンテンツのモデレーションに取り組んでいます。
私たちは、時間のかかるタスクである注目の投稿を選択する際にモデレーターをサポートし、権限を与えるために、ランク付けクラスの確率に基づいたレコメンダー システムを提供します。
ユーザーとテキストのコンテンツの特徴を組み合わせることで、テスト セットで 0.44 の最適な分類 F1 スコアが得られます。
さらに、大規模な検証記事の最適平均 NDCG@5 が 0.87 であることがわかります。
専門家による評価として、コンテンツ モデレーターは、推奨事項に基づいて特集するコメントを選択することで、ランダムに選択した記事の出力を評価し、NDCG スコアは 0.83 となりました。
第一に、テキスト機能を追加すると最高のスコアが得られ、第二に、注目のコンテンツの選択は多少主観的なままであるものの、コンテンツモデレータは 1 つを除くすべての評価済み推奨事項で適切なコメントを見つけたと結論付けています。
この論文は、ハイブリッド コンテンツ モデレーションにおける透明性と説明可能性への一歩となる、最もパフォーマンスの高いモデルを分析して終了します。

要約(オリジナル)

Online news outlets are grappling with the moderation of user-generated content within their comment section. We present a recommender system based on ranking class probabilities to support and empower the moderator in choosing featured posts, a time-consuming task. By combining user and textual content features we obtain an optimal classification F1-score of 0.44 on the test set. Furthermore, we observe an optimum mean NDCG@5 of 0.87 on a large set of validation articles. As an expert evaluation, content moderators assessed the output of a random selection of articles by choosing comments to feature based on the recommendations, which resulted in a NDCG score of 0.83. We conclude that first, adding text features yields the best score and second, while choosing featured content remains somewhat subjective, content moderators found suitable comments in all but one evaluated recommendations. We end the paper by analyzing our best-performing model, a step towards transparency and explainability in hybrid content moderation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google