Moderating Illicit Online Image Promotion for Unsafe User-Generated Content Games Using Large Vision-Language Models

要約

オンライン ユーザー生成コンテンツ ゲーム (UGCG) は、社会的交流やよりクリエイティブなオンライン エンターテイメントとして子供や青少年の間でますます人気が高まっています。
しかし、露骨なコンテンツにさらされるリスクが高まり、子供や青少年のオンライン安全に対する懸念が高まっています。
こうした懸念があるにもかかわらず、ソーシャルメディア上での安全でない UGCG の違法な画像ベースのプロモーションの問題に取り組んでいる研究はほとんどなく、意図せずに若いユーザーを引き付ける可能性があります。
この課題は、UGCG 画像の包括的なトレーニング データを取得することの難しさと、従来の安全でないコンテンツとは異なるこれらの画像の独特の性質から生じます。
この研究では、安全でない UGCG の違法なプロモーションの脅威を研究するための第一歩を踏み出します。
私たちは、ゲーム クリエーターによる UGCG の宣伝に使用される、性的に露骨で暴力的なさまざまなコンテンツを表示する 2,924 枚の画像で構成される現実世界のデータセットを収集します。
私たちの綿密な調査により、この問題に対する新たな理解と、違法な UGCG プロモーションに自動的にフラグを立てる緊急の必要性が明らかになりました。
さらに、ソーシャル メディア プラットフォームが違法な UGCG プロモーションに使用される画像を効果的に識別できるように設計された最先端のシステム UGCG-Guard も作成しています。
このシステムは、最近導入された大規模ビジョン言語モデル (VLM) を活用し、文脈識別のための思考連鎖 (CoT) 推論とともに、ゼロショット ドメイン適応のための新しい条件付きプロンプト戦略を採用しています。
UGCG-Guard は、現実世界のシナリオでこのようなゲームの違法なプロモーションに使用される画像を 94% の精度で検出するという優れた結果を達成しました。

要約(オリジナル)

Online user generated content games (UGCGs) are increasingly popular among children and adolescents for social interaction and more creative online entertainment. However, they pose a heightened risk of exposure to explicit content, raising growing concerns for the online safety of children and adolescents. Despite these concerns, few studies have addressed the issue of illicit image-based promotions of unsafe UGCGs on social media, which can inadvertently attract young users. This challenge arises from the difficulty of obtaining comprehensive training data for UGCG images and the unique nature of these images, which differ from traditional unsafe content. In this work, we take the first step towards studying the threat of illicit promotions of unsafe UGCGs. We collect a real-world dataset comprising 2,924 images that display diverse sexually explicit and violent content used to promote UGCGs by their game creators. Our in-depth studies reveal a new understanding of this problem and the urgent need for automatically flagging illicit UGCG promotions. We additionally create a cutting-edge system, UGCG-Guard, designed to aid social media platforms in effectively identifying images used for illicit UGCG promotions. This system leverages recently introduced large vision-language models (VLMs) and employs a novel conditional prompting strategy for zero-shot domain adaptation, along with chain-of-thought (CoT) reasoning for contextual identification. UGCG-Guard achieves outstanding results, with an accuracy rate of 94% in detecting these images used for the illicit promotion of such games in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google