Prompt-enhanced Network for Hateful Meme Classification

要約

ソーシャルメディアの動的な拡大により、メディアプラットフォームで憎むべきミームが浸水し、効率的な識別と除去の必要性が高まっています。
外部の知識に大きく依存し、無関係または冗長コンテンツを含めるリスクをもたらす従来のマルチモーダル憎悪のミーム分類の制約を認識して、迅速な学習アプローチに基づいた迅速なネットワークフレームワークであるPENを開発しました。
具体的には、迅速な方法を介してシーケンスを構築し、言語モデルでエンコードした後、マルチビュー知覚のためにエンコードされたシーケンスでリージョン情報グローバル抽出を実行しました。
推論のインスタンスとデモンストレーションに関するグローバルな情報をキャプチャすることにより、ペンはシーケンス情報を完全に活用することにより、カテゴリの選択を容易にします。
このアプローチは、モデルの分類精度を大幅に向上させます。
さらに、特徴空間のモデルの推論機能を強化するために、サンプル特徴分布の品質を改善するために、フレームワークに迅速な対照学習を導入しました。
2つのパブリックデータセットでの広範なアブレーション実験により、PENフレームワークの有効性を評価し、最先端のモデルベースラインと同時に比較します。
私たちの調査結果は、ペンが手動の迅速な方法を上回り、憎むべきミーム分類タスクにおける優れた一般化と分類の精度を紹介することを強調しています。
私たちのコードは、https：//github.com/juszzi/penで入手できます。

要約(オリジナル)

The dynamic expansion of social media has led to an inundation of hateful memes on media platforms, accentuating the growing need for efficient identification and removal. Acknowledging the constraints of conventional multimodal hateful meme classification, which heavily depends on external knowledge and poses the risk of including irrelevant or redundant content, we developed Pen — a prompt-enhanced network framework based on the prompt learning approach. Specifically, after constructing the sequence through the prompt method and encoding it with a language model, we performed region information global extraction on the encoded sequence for multi-view perception. By capturing global information about inference instances and demonstrations, Pen facilitates category selection by fully leveraging sequence information. This approach significantly improves model classification accuracy. Additionally, to bolster the model’s reasoning capabilities in the feature space, we introduced prompt-aware contrastive learning into the framework to improve the quality of sample feature distributions. Through extensive ablation experiments on two public datasets, we evaluate the effectiveness of the Pen framework, concurrently comparing it with state-of-the-art model baselines. Our research findings highlight that Pen surpasses manual prompt methods, showcasing superior generalization and classification accuracy in hateful meme classification tasks. Our code is available at https://github.com/juszzi/Pen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google