Graph Drawing for LLMs: An Empirical Evaluation

要約

私たちの仕事は、グラフ関連のタスクを実行するための大規模な言語モデル（LLM）の使用に関する急速に成長する文献に貢献しています。
特に、視覚的モダリティに依存する使用シナリオに焦点を当て、分析中のグラフの図面をモデルに供給します。
選択したレイアウトパラダイム、図面の美学、およびクエリに使用されるプロンプト手法によって、モデルのパフォーマンスがどのように影響を受けるかを調査します。
対応する3つの研究質問を策定し、徹底的な実験分析の結果を提示します。
私たちの調査結果は、適切なレイアウトパラダイムを選択し、人間の視点から入力図の読みやすさを最適化することで、指定されたタスク上のモデルのパフォーマンスを大幅に改善できることを明らかにしています。
さらに、最も効果的なプロンプト技術を選択することは、最適なパフォーマンスを達成するための挑戦的でありながら重要なタスクです。

要約(オリジナル)

Our work contributes to the fast-growing literature on the use of Large Language Models (LLMs) to perform graph-related tasks. In particular, we focus on usage scenarios that rely on the visual modality, feeding the model with a drawing of the graph under analysis. We investigate how the model’s performance is affected by the chosen layout paradigm, the aesthetics of the drawing, and the prompting technique used for the queries. We formulate three corresponding research questions and present the results of a thorough experimental analysis. Our findings reveal that choosing the right layout paradigm and optimizing the readability of the input drawing from a human perspective can significantly improve the performance of the model on the given task. Moreover, selecting the most effective prompting technique is a challenging yet crucial task for achieving optimal performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google