Zero shot VLMs for hate meme detection: Are we there yet?

要約

ソーシャル メディア上のマルチメディア コンテンツは急速に進化しており、ミームが独特の形式として注目を集めています。
残念ながら、一部の悪意のあるユーザーはミームを悪用して個人や脆弱なコミュニティをターゲットにするため、そのような憎しみに満ちたミームの事例を特定して対処することが不可欠となっています。
ヘイトミーム検出モデルを開発することで、この問題に対処するために広範な研究が行われてきました。
ただし、従来の機械/深層学習モデルの注目すべき制限は、正確な分類のためにラベル付きデータセットが必要であることです。
最近、研究コミュニティは、さまざまなタスクにわたって優れたパフォーマンスを発揮するいくつかの視覚言語モデルの出現を目撃しました。
この研究では、ヘイトミーム検出などの複雑なタスクを処理する際のこれらの視覚言語モデルの有効性を調査することを目的としています。
私たちはさまざまなプロンプト設定を使用して、憎悪/有害なミームのゼロショット分類に焦点を当てています。
私たちの分析を通じて、大規模な VLM は依然としてゼロショット ヘイト ミーム検出に対して脆弱であることがわかりました。

要約(オリジナル)

Multimedia content on social media is rapidly evolving, with memes gaining prominence as a distinctive form. Unfortunately, some malicious users exploit memes to target individuals or vulnerable communities, making it imperative to identify and address such instances of hateful memes. Extensive research has been conducted to address this issue by developing hate meme detection models. However, a notable limitation of traditional machine/deep learning models is the requirement for labeled datasets for accurate classification. Recently, the research community has witnessed the emergence of several visual language models that have exhibited outstanding performance across various tasks. In this study, we aim to investigate the efficacy of these visual language models in handling intricate tasks such as hate meme detection. We use various prompt settings to focus on zero-shot classification of hateful/harmful memes. Through our analysis, we observe that large VLMs are still vulnerable for zero-shot hate meme detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google