A Review of Vision-Language Models and their Performance on the Hateful Memes Challenge

要約

タイトル：Vision-LanguageモデルとHateful Memes Challengeでのパフォーマンスのレビュー

要約：
– 社会メディアのコンテンツモデレーションは、現在非常に手動的な作業であるが、日々投稿されるコンテンツが多すぎて効果的に行うことができない。
– いくつかのマルチモーダルモデルの登場により、このタスクの手動労力を減らす可能性がある。
– この研究では、さまざまなモデルを探究し、コンテンツモデレーションの機械学習研究をさらに進めるMetaによるHateful Memes Challengeに最も効果的なモデルを特定することを目的としている。
– 具体的には、テキストと画像を含むマルチモーダルミームの分類におけるearly fusionとlate fusionモデルの違いを探究する。
– まず、テキストと画像の両方に対してBERTとResNet-152の単一モーダルモデルを実装し、これらの出力を連結してlate fusionモデルを作成した。
– early fusionモデルについては、ConcatBERT、VisualBERT、ViLT、CLIP、BridgeTowerを実装する。
– late fusionは、early fusionモデルよりも大幅に劣り、最も優れたパフォーマンスを発揮したのはCLIPで、AUROCは70.06であった。
– この研究のコードはhttps://github.com/bzhao18/CS-7643-Projectで公開されている。

要約(オリジナル)

Moderation of social media content is currently a highly manual task, yet there is too much content posted daily to do so effectively. With the advent of a number of multimodal models, there is the potential to reduce the amount of manual labor for this task. In this work, we aim to explore different models and determine what is most effective for the Hateful Memes Challenge, a challenge by Meta designed to further machine learning research in content moderation. Specifically, we explore the differences between early fusion and late fusion models in classifying multimodal memes containing text and images. We first implement a baseline using unimodal models for text and images separately using BERT and ResNet-152, respectively. The outputs from these unimodal models were then concatenated together to create a late fusion model. In terms of early fusion models, we implement ConcatBERT, VisualBERT, ViLT, CLIP, and BridgeTower. It was found that late fusion performed significantly worse than early fusion models, with the best performing model being CLIP which achieved an AUROC of 70.06. The code for this work is available at https://github.com/bzhao18/CS-7643-Project.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI