Lost-in-Distance: Impact of Contextual Proximity on LLM Performance in Graph Tasks

要約

大きな進歩にもかかわらず、大規模言語モデル (LLM) には盲点があり、関連するコンテキスト データを効果的に取得して処理する能力が損なわれています。
私たちは、「干し草の中の針」シナリオを超える複雑さを持つグラフ タスクにおける LLM のパフォーマンスが、コンテキスト内の関連情報の近接性によって影響を受けることを示します。このシナリオでは、問題を解決するには、複数の下位問題を相互参照して推論する必要があります。
これを私たちは「距離の喪失」と呼んでいます。
2 つのノード間の共通接続の特定と 3 つのノード間の類似性の評価という 2 つの基本的なグラフ タスクを検証し、これらのタスクにおけるモデルのパフォーマンスが共通エッジの相対位置に大きく依存することを示します。
LLM 入力のグラフ構造を表すさまざまなグラフ エンコード技術を使用して、3 つの公的に入手可能な LLM を評価します。
距離喪失現象の定式化を提案し、距離喪失現象と中間喪失現象が独立して発生することを実証します。
結果は、グラフのエンコードやモデルのサイズに関係なく、ノード接続間の距離が増加するにつれてモデルの精度が最大 6 倍低下する可能性があることを示しています。

要約(オリジナル)

Despite significant advancements, Large Language Models (LLMs) exhibit blind spots that impair their ability to retrieve and process relevant contextual data effectively. We demonstrate that LLM performance in graph tasks with complexities beyond the ‘needle-in-a-haystack’ scenario-where solving the problem requires cross-referencing and reasoning across multiple subproblems jointly-is influenced by the proximity of relevant information within the context, a phenomenon we term ‘lost-in-distance’. We examine two fundamental graph tasks: identifying common connections between two nodes and assessing similarity among three nodes, and show that the model’s performance in these tasks significantly depends on the relative positioning of common edges. We evaluate three publicly available LLMs using various graph encoding techniques that represent graph structures for LLM input. We propose a formulation for the lost-in-distance phenomenon and demonstrate that lost-in-distance and lost-in-the middle phenomenas occur independently. Results indicate that model accuracy can decline by up to 6x as the distance between node connections increases, independent of graph encoding and model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google