How Good (Or Bad) Are LLMs at Detecting Misleading Visualizations?

要約

この研究では、情報伝達の完全性を損なう蔓延している問題である、誤解を招くチャートという増大する問題に取り組みます。
誤解を招くグラフは、データに対する閲覧者の認識を歪め、誤った解釈や誤った情報に基づく意思決定につながる可能性があります。
誤解を招くチャートを効果的に自動検出する方法の開発は、緊急の研究分野です。
マルチモーダル大規模言語モデル (LLM) の最近の進歩により、この課題に対処するための有望な方向性が導入されました。
私たちは、複雑なチャートを分析し、モデルの分析に対するさまざまなプロンプト戦略の影響を評価する際のこれらのモデルの機能を調査しました。
私たちは、事前調査によってインターネットから収集した誤解を招くチャートのデータセットを利用し、単純なものから複雑なものまで 9 つの異なるプロンプトを作成して、21 を超える異なるチャートの問題を検出する 4 つの異なるマルチモーダル LLM の能力をテストしました。
最初の探索から詳細な分析までの 3 つの実験を通じて、LLM に誤解を招くチャートを特定するよう効果的に促す方法についての洞察を徐々に得、検出範囲を最初の 5 つの問題から 21 の問題に拡大する際に遭遇したスケーラビリティの課題に対処する戦略を開発しました。
最後の実験で。
私たちの調査結果は、マルチモーダル LLM がチャートの理解とデータ解釈における批判的思考の強力な能力を備えていることを明らかにしています。
クリティカルシンキングをサポートし、視覚化リテラシーを向上させることで、誤解を招く情報に対抗するためにマルチモーダル LLM を採用することには、大きな可能性があります。
この研究は、誤解を招くチャートという差し迫った懸念に対処する際の LLM の適用可能性を実証しています。

要約(オリジナル)

In this study, we address the growing issue of misleading charts, a prevalent problem that undermines the integrity of information dissemination. Misleading charts can distort the viewer’s perception of data, leading to misinterpretations and decisions based on false information. The development of effective automatic detection methods for misleading charts is an urgent field of research. The recent advancement of multimodal Large Language Models (LLMs) has introduced a promising direction for addressing this challenge. We explored the capabilities of these models in analyzing complex charts and assessing the impact of different prompting strategies on the models’ analyses. We utilized a dataset of misleading charts collected from the internet by prior research and crafted nine distinct prompts, ranging from simple to complex, to test the ability of four different multimodal LLMs in detecting over 21 different chart issues. Through three experiments–from initial exploration to detailed analysis–we progressively gained insights into how to effectively prompt LLMs to identify misleading charts and developed strategies to address the scalability challenges encountered as we expanded our detection range from the initial five issues to 21 issues in the final experiment. Our findings reveal that multimodal LLMs possess a strong capability for chart comprehension and critical thinking in data interpretation. There is significant potential in employing multimodal LLMs to counter misleading information by supporting critical thinking and enhancing visualization literacy. This study demonstrates the applicability of LLMs in addressing the pressing concern of misleading charts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google