IRFL: Image Recognition of Figurative Language

要約

比喩、直喩、イディオムなどの比喩表現は、言語を表現力豊かにし、感情を喚起し、他の方法では視覚化するのが難しい抽象的なアイデアを伝えることを可能にします。
これらの比喩的な形式は、多くの場合、テキストや画像などの複数のモードで伝えられ、広告、ニュース、ソーシャル メディアなどに頻繁に登場します。マルチモーダルな比喩的な言語を理解することは、人間のコミュニケーションに不可欠な要素であり、日常生活で重要な役割を果たします。
相互作用。
人間はマルチモーダルな比喩的な言語を直感的に理解できますが、これは、ドメイン、抽象化、常識、深遠な言語および文化的知識の間をマッピングする認知能力を必要とする機械にとって困難なタスクをもたらします。
この作業では、視覚モデルと言語モデルの比喩言語の理解を調べるために、比喩言語データセットの画像認識を提案します。
人間による注釈と作成した自動パイプラインを活用してマルチモーダル データセットを生成し、マルチモーダルな比喩的理解のベンチマークとして 2 つの新しいタスクを導入します。
いくつかのベースライン モデルで実験を行ったところ、すべてのモデルが人間よりも大幅にパフォーマンスが悪いことがわかりました。
私たちのデータセットとベンチマークが、比喩的な言語をよりよく理解するモデルの開発を促進することを願っています。

要約(オリジナル)

Figures of speech such as metaphors, similes, and idioms allow language to be expressive, invoke emotion, and communicate abstract ideas that might otherwise be difficult to visualize. These figurative forms are often conveyed through multiple modes, such as text and images, and frequently appear in advertising, news, social media, etc. Understanding multimodal figurative language is an essential component of human communication, and it plays a significant role in our daily interactions. While humans can intuitively understand multimodal figurative language, this poses a challenging task for machines that requires the cognitive ability to map between domains, abstraction, commonsense, and profound language and cultural knowledge. In this work, we propose the Image Recognition of Figurative Language dataset to examine vision and language models’ understanding of figurative language. We leverage human annotation and an automatic pipeline we created to generate a multimodal dataset and introduce two novel tasks as a benchmark for multimodal figurative understanding. We experiment with several baseline models and find that all perform substantially worse than humans. We hope our dataset and benchmark will drive the development of models that will better understand figurative language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google