Socratis: Are large multimodal models emotionally aware?

要約

既存の感情予測ベンチマークには、さまざまな理由により画像やテキストが人間に引き起こす可能性のある感情の多様性が考慮されていない、粗い感情ラベルが含まれています。
インテリジェントマシンがコンテンツの生成と社会への配信において中心的な役割を担うため、マルチモーダルコンテンツに対する多様な反応を学ぶことは重要です。
このギャップに対処するために、私たちは社会反応ベンチマークである Socratis を提案します。このベンチマークでは、各画像とキャプション (IC) のペアに複数の感情とその感情の理由が注釈として付けられます。
Socratis には、5 つの広く読まれているニュースおよび画像キャプション (IC) データセットからの 2075 の画像キャプション ペアに対する 980 の感情に対する 18K の自由形式の反応が含まれています。
IC ペアが与えられたときに感情を感じる理由を生成する、最先端のマルチモーダル大規模言語モデルの機能をベンチマークします。
人間による予備的な研究に基づくと、人間は機械が生成した理由よりも人間が書いた理由を 2 倍以上好むことがわかりました。
これは、私たちのタスクが標準的な生成タスクよりも難しいことを示しています。これは、たとえば、人間が機械で書いたニュース記事と人間が書いたニュース記事を区別できないという最近の調査結果とははっきりと対照的であるためです。
さらに、大規模な視覚言語モデルに基づいた現在のキャプション指標も人間の好みと相関していないことがわかります。
これらの発見とベンチマークが、感情認識モデルのトレーニングに関するさらなる研究のきっかけとなることを願っています。

要約(オリジナル)

Existing emotion prediction benchmarks contain coarse emotion labels which do not consider the diversity of emotions that an image and text can elicit in humans due to various reasons. Learning diverse reactions to multimodal content is important as intelligent machines take a central role in generating and delivering content to society. To address this gap, we propose Socratis, a societal reactions benchmark, where each image-caption (IC) pair is annotated with multiple emotions and the reasons for feeling them. Socratis contains 18K free-form reactions for 980 emotions on 2075 image-caption pairs from 5 widely-read news and image-caption (IC) datasets. We benchmark the capability of state-of-the-art multimodal large language models to generate the reasons for feeling an emotion given an IC pair. Based on a preliminary human study, we observe that humans prefer human-written reasons over 2 times more often than machine-generated ones. This shows our task is harder than standard generation tasks because it starkly contrasts recent findings where humans cannot tell apart machine vs human-written news articles, for instance. We further see that current captioning metrics based on large vision-language models also fail to correlate with human preferences. We hope that these findings and our benchmark will inspire further research on training emotionally aware models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google