Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection

要約

最近の進歩により、2 つのストリームのアプローチが憎悪ミームの検出において優れたパフォーマンスを達成したことが示されています。
しかし、進歩的な文化的アイデアを融合することで新しいミームが出現し、既存の手法が時代遅れになったり無効になったりするため、憎しみに満ちたミームは常に進化しています。
この研究では、憎しみに満ちたミーム検出のための大規模マルチモーダル モデル (LMM) の可能性を探ります。
この目的を達成するために、ミームの進化属性とコンテキスト内情報を統合することにより、進化連鎖 (CoE) プロンプティングを介して LMM を組み込む Evolver を提案します。
具体的には、Evolver は、LMM を通じてミームと理由の進化と表現のプロセスを段階的にシミュレートします。
まず、進化的ペア マイニング モジュールは、入力ミームを含む外部の厳選されたミーム セット内で最も類似した上位 k 個のミームを取得します。
第二に、進化情報抽出器は、プロンプトのためにペアのミーム間の意味論的規則性を要約するように設計されています。
最後に、文脈関連性増幅器は、文脈内の憎悪情報を強化して、進化プロセスの探索を強化します。
公開されている FHM、MAMI、HarM データセットに関する広範な実験により、CoE プロンプトを既存の LMM に組み込んでパフォーマンスを向上できることが示されています。
さらに嬉しいのは、ソーシャル ミームの進化の理解を促進する解釈ツールとして機能することです。

要約(オリジナル)

Recent advances show that two-stream approaches have achieved outstanding performance in hateful meme detection. However, hateful memes constantly evolve as new memes emerge by fusing progressive cultural ideas, making existing methods obsolete or ineffective. In this work, we explore the potential of Large Multimodal Models (LMMs) for hateful meme detection. To this end, we propose Evolver, which incorporates LMMs via Chain-of-Evolution (CoE) Prompting, by integrating the evolution attribute and in-context information of memes. Specifically, Evolver simulates the evolving and expressing process of memes and reasons through LMMs in a step-by-step manner. First, an evolutionary pair mining module retrieves the top-k most similar memes in the external curated meme set with the input meme. Second, an evolutionary information extractor is designed to summarize the semantic regularities between the paired memes for prompting. Finally, a contextual relevance amplifier enhances the in-context hatefulness information to boost the search for evolutionary processes. Extensive experiments on public FHM, MAMI, and HarM datasets show that CoE prompting can be incorporated into existing LMMs to improve their performance. More encouragingly, it can serve as an interpretive tool to promote the understanding of the evolution of social memes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google