The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models

要約

大規模言語モデル (LLM) は依然として新しいドメインに採用され、新しいアプリケーションで利用されていますが、私たちは新世代の基礎モデル、つまりマルチモーダル大規模言語モデル (MLLM) の流入を経験しています。
これらのモデルは言語情報と視覚情報を統合し、2 つのモダリティの交差点でより複雑な推論能力を実証するための新たな可能性を開きます。
しかし、MLLM の革命的な見通しにもかかわらず、彼らの推論能力についての私たちの理解は限られています。
この研究では、レイブンのプログレッシブ行列のバリエーションを使用して、オープンソースおよびクローズドソースの MLLM の非言語的抽象推論能力を評価します。
私たちの実験は、オープンソース モデルとクローズドソース モデルの間にある大きなギャップを明らかにすると同時に、そのような問題を解決することの困難さを明らかにしました。
また、モデルのパフォーマンスが低い上限に達している、個々のビジュアルおよびテキスト モジュールの重大な欠点も明らかにします。
最後に、MLLM のパフォーマンスを向上させるために、思考連鎖プロンプトなどのさまざまな方法を実験し、その結果、パフォーマンスが大幅に (最大 100%) 向上しました。

要約(オリジナル)

While large language models (LLMs) are still being adopted to new domains and utilized in novel applications, we are experiencing an influx of the new generation of foundation models, namely multi-modal large language models (MLLMs). These models integrate verbal and visual information, opening new possibilities to demonstrate more complex reasoning abilities at the intersection of the two modalities. However, despite the revolutionizing prospect of MLLMs, our understanding of their reasoning abilities is limited. In this study, we assess the nonverbal abstract reasoning abilities of open-source and closed-source MLLMs using variations of Raven’s Progressive Matrices. Our experiments expose the difficulty of solving such problems while showcasing the immense gap between open-source and closed-source models. We also reveal critical shortcomings with individual visual and textual modules, subjecting the models to low-performance ceilings. Finally, to improve MLLMs’ performance, we experiment with various methods, such as Chain-of-Thought prompting, resulting in a significant (up to 100%) boost in performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google