What If the TV Was Off? Examining Counterfactual Reasoning Abilities of Multi-modal Language Models

要約

反事実的推論能力は、人間の知性の中核となる能力の 1 つです。
この推論プロセスには、観察された状態や過去の出来事に対する代替案の処理が含まれており、このプロセスにより、計画と意思決定の能力が向上します。
この研究では、マルチモーダル大規模言語モデルの反事実推論能力のベンチマークに焦点を当てます。
VQAv2 データセットから質問と回答のペアを取得し、質問に反事実的な前提を 1 つ追加し、それに応じて回答を修正します。
ChatGPT を使用して反事実の質問と回答を生成した後、生成されたすべての質問と回答を手動で検査して、正確性を確認します。
この方法で、2,000 を超える反事実的な質問と回答のペアが収集されます。
新しく収集したテスト データセットで最近の視覚言語モデルを評価したところ、反事実の前提なしで質問に対してテストした結果と比較して、すべてのモデルが大幅なパフォーマンスの低下を示していることがわかりました。
この結果は、視覚言語モデルを開発する余地がまだ存在することを示しています。
ビジョン言語モデルとは別に、私たちが提案したデータセットは、コード生成 LLM の能力を評価するためのベンチマークとしても機能します。結果は、GPT-4 と現在のオープンソース モデルの間に大きなギャップがあることを示しています。
コードとデータセットは \url{https://github.com/Letian2003/C-VQA} で入手できます。

要約(オリジナル)

Counterfactual reasoning ability is one of the core abilities of human intelligence. This reasoning process involves the processing of alternatives to observed states or past events, and this process can improve our ability for planning and decision-making. In this work, we focus on benchmarking the counterfactual reasoning ability of multi-modal large language models. We take the question and answer pairs from the VQAv2 dataset and add one counterfactual presupposition to the questions, with the answer being modified accordingly. After generating counterfactual questions and answers using ChatGPT, we manually examine all generated questions and answers to ensure correctness. Over 2k counterfactual question and answer pairs are collected this way. We evaluate recent vision language models on our newly collected test dataset and found that all models exhibit a large performance drop compared to the results tested on questions without the counterfactual presupposition. This result indicates that there still exists space for developing vision language models. Apart from the vision language models, our proposed dataset can also serves as a benchmark for evaluating the ability of code generation LLMs, results demonstrate a large gap between GPT-4 and current open-source models. Our code and dataset are available at \url{https://github.com/Letian2003/C-VQA}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google