VLM as Policy: Common-Law Content Moderation Framework for Short Video Platform

要約

指数関数的に成長する短いビデオプラットフォーム（SVP）は、特に未成年者にとって、ユーザーのメンタルヘルスにとって有害なコンテンツの緩和に大きな課題に直面しています。
SVPに対するそのようなコンテンツの普及は、壊滅的な社会的結果につながる可能性があります。
このようなコンテンツの緩和には多大な努力が払われていますが、既存の方法は重大な制限に苦しんでいます。（1）手動のレビューは人間のバイアスに陥りやすく、高い運用コストが発生します。
（2）自動化された方法は、効率的ですが、微妙なコンテンツの理解を欠いているため、精度が低下します。
（3）産業節度の規制は、長い更新サイクルのために急速に進化する傾向に適応するのに苦労しています。
このホワイトペーパーでは、最初のSVPコンテンツモデレートベンチマークに本物のユーザー/レビュー担当者のフィードバックを注ぎ、このフィールドにベンチマークがないことを埋めます。
次に、前述の制限の存在を検証するために、ベンチマーク上のさまざまな方法を評価します。
さらに、これらの課題に対処するために、Kuaimodという名前のコモンローコンテンツモデレーションフレームワークを提案します。
Kuaimodは、トレーニングデータ構築、オフライン適応、およびオンライン展開と改良の3つのコンポーネントで構成されています。
大規模なビジョン言語モデル（VLM）と考え方（COT）の推論を活用して、Kuaimodはスパースユーザーフィードバックに基づいてビデオ毒性を適切にモデル化し、迅速な更新速度と高精度で動的モデレーションポリシーを促進します。
オフライン実験と大規模なオンラインA/Bテストは、Kuaimodの優位性を示しています。Kuaimodは、ベンチマークで最高のモデレートパフォーマンスを達成します。
Kuaimodの展開により、ユーザーのレポートレートが20％削減され、ビデオ推奨でのアプリケーションは、いくつかのKuaishouシナリオで毎日のアクティブユーザー（DAU）とアプリの使用時間（AUT）の両方を増加させます。
https://kuaimod.github.ioでベンチマークをオープンソースしました。

要約(オリジナル)

Exponentially growing short video platforms (SVPs) face significant challenges in moderating content detrimental to users’ mental health, particularly for minors. The dissemination of such content on SVPs can lead to catastrophic societal consequences. Although substantial efforts have been dedicated to moderating such content, existing methods suffer from critical limitations: (1) Manual review is prone to human bias and incurs high operational costs. (2) Automated methods, though efficient, lack nuanced content understanding, resulting in lower accuracy. (3) Industrial moderation regulations struggle to adapt to rapidly evolving trends due to long update cycles. In this paper, we annotate the first SVP content moderation benchmark with authentic user/reviewer feedback to fill the absence of benchmark in this field. Then we evaluate various methods on the benchmark to verify the existence of the aforementioned limitations. We further propose our common-law content moderation framework named KuaiMod to address these challenges. KuaiMod consists of three components: training data construction, offline adaptation, and online deployment & refinement. Leveraging large vision language model (VLM) and Chain-of-Thought (CoT) reasoning, KuaiMod adequately models video toxicity based on sparse user feedback and fosters dynamic moderation policy with rapid update speed and high accuracy. Offline experiments and large-scale online A/B test demonstrates the superiority of KuaiMod: KuaiMod achieves the best moderation performance on our benchmark. The deployment of KuaiMod reduces the user reporting rate by 20% and its application in video recommendation increases both Daily Active User (DAU) and APP Usage Time (AUT) on several Kuaishou scenarios. We have open-sourced our benchmark at https://kuaimod.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google