Multimodal and Explainable Internet Meme Classification

要約

タイトル：多様なモーダルで説明可能なインターネットミームの分類

要約：

– オンラインプラットフォームが様々な地政学的な事件や社会問題で効果的に武器化された状況では、インターネットミームは大規模な適正なコンテンツモデレーションをさらに困難にしています。
– ミームの分類と追跡に関する既存の研究は、ミームの意味や作成時の文脈を明示的に考慮しないブラックボックスの方法に焦点を当てています。本論文では、インターネットミームの理解のためのモジュール化された説明可能なアーキテクチャを追求しています。
– 訓練事例に対して例ベースおよびプロトタイプベースの推論を実行するマルチモーダル分類手法を設計・実装し、個々の事例を表現するためのテキストとビジュアルのSOTAモデルを活用しています。
– 「ヘイトスピーチ検出」と「女性差別分類」という二つの既存タスクにおいて、モジュール化された説明可能なモデルの有効性を検証しました。
– 女性差別という悪意の異なるカテゴリーにおいて、例ベースおよびプロトタイプベースの手法、テキスト、ビジョン、およびマルチモーダルモデルの性能を比較しました。
– すべてのモデルによって取得された例を比較することを容易にするユーザーフレンドリーなインターフェースを考案し、これらの説明可能な方法の強みと限界についてコミュニティに提供しました。

要約(オリジナル)

In the current context where online platforms have been effectively weaponized in a variety of geo-political events and social issues, Internet memes make fair content moderation at scale even more difficult. Existing work on meme classification and tracking has focused on black-box methods that do not explicitly consider the semantics of the memes or the context of their creation. In this paper, we pursue a modular and explainable architecture for Internet meme understanding. We design and implement multimodal classification methods that perform example- and prototype-based reasoning over training cases, while leveraging both textual and visual SOTA models to represent the individual cases. We study the relevance of our modular and explainable models in detecting harmful memes on two existing tasks: Hate Speech Detection and Misogyny Classification. We compare the performance between example- and prototype-based methods, and between text, vision, and multimodal models, across different categories of harmfulness (e.g., stereotype and objectification). We devise a user-friendly interface that facilitates the comparative analysis of examples retrieved by all of our models for any given meme, informing the community about the strengths and limitations of these explainable methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI