Are Language Models Puzzle Prodigies? Algorithmic Puzzles Unveil Serious Challenges in Multimodal Reasoning

要約

この論文では、視覚的な質問応答のコンテキスト内で組み立てられた、マルチモーダルなパズル解決という新しいタスクを紹介します。
視覚的理解、言語理解、および複雑なアルゴリズム推論の両方を必要とするアルゴリズム パズルを解く際に、マルチモーダル言語モデルの機能に挑戦し、評価するように設計された新しいデータセット AlgoPuzzleVQA を紹介します。
私たちは、ブール論理、組み合わせ論、グラフ理論、最適化、検索などの数学的およびアルゴリズム的なさまざまなトピックを網羅するパズルを作成し、視覚的なデータ解釈とアルゴリズムによる問題解決スキルの間のギャップを評価することを目的としています。
データセットは人間が作成したコードから自動的に生成されます。
すべてのパズルには、人間による面倒な計算を必要とせずに、アルゴリズムから正確な解決策を見つけることができます。
これにより、推論の複雑さとデータセットのサイズに関して、データセットを任意にスケールアップできることが保証されます。
私たちの調査により、GPT4V や Gemini などの大規模言語モデル (LLM) は、パズルを解くタスクにおいて限られたパフォーマンスしか示さないことが明らかになりました。
かなりの数のパズルに対する多肢選択式の質問応答設定では、それらのパフォーマンスはほぼランダムであることがわかりました。
この調査結果は、複雑な推論問題を解決するために視覚、言語、アルゴリズムの知識を統合するという課題を強調しています。

要約(オリジナル)

This paper introduces the novel task of multimodal puzzle solving, framed within the context of visual question-answering. We present a new dataset, AlgoPuzzleVQA designed to challenge and evaluate the capabilities of multimodal language models in solving algorithmic puzzles that necessitate both visual understanding, language understanding, and complex algorithmic reasoning. We create the puzzles to encompass a diverse array of mathematical and algorithmic topics such as boolean logic, combinatorics, graph theory, optimization, search, etc., aiming to evaluate the gap between visual data interpretation and algorithmic problem-solving skills. The dataset is generated automatically from code authored by humans. All our puzzles have exact solutions that can be found from the algorithm without tedious human calculations. It ensures that our dataset can be scaled up arbitrarily in terms of reasoning complexity and dataset size. Our investigation reveals that large language models (LLMs) such as GPT4V and Gemini exhibit limited performance in puzzle-solving tasks. We find that their performance is near random in a multi-choice question-answering setup for a significant number of puzzles. The findings emphasize the challenges of integrating visual, language, and algorithmic knowledge for solving complex reasoning problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google