MIDGARD: Self-Consistency Using Minimum Description Length for Structured Commonsense Reasoning

要約

私たちは、大規模言語モデル (LLM) を使用して自然言語入力から推論グラフを生成するという構造化推論を実行するタスクを研究します。
これまでのアプローチでは、さまざまなプロンプト方式が検討されてきましたが、自己回帰の性質と、誤り訂正能力に欠けるシングルパスベースの復号化による誤り伝播の問題がありました。
さらに、単一のサンプルのみに依存すると、真のノードとエッジが省略される可能性があります。
これに対抗するために、私たちは自己一貫性 (SC) からインスピレーションを得ています。これには、さまざまな推論チェーンをサンプリングし、多数決を最終的な答えとして採用することが含まれます。
生成されたグラフに SC を適用するという大きな課題に取り組むために、最小記述長 (MDL) ベースの定式化を利用して、生成されたさまざまなグラフ サンプル間で一貫したプロパティを識別する MIDGARD (最小記述長の有向非巡回グラフにおける推論の誘導集約) を提案します。
LLM。
この定式化は、精度を損なうことなく欠落要素を含めることを可能にしながら、少数のサンプルのみに現れる、誤りの可能性が高いプロパティを拒否するのに役立ちます。
私たちの手法は、引数構造の抽出、説明グラフの生成、日常業務のアクション間の依存関係の推論、自然文からの意味グラフの生成など、さまざまな構造化推論タスク間の比較よりも優れたパフォーマンスを示します。

要約(オリジナル)

We study the task of conducting structured reasoning as generating a reasoning graph from natural language input using large language models (LLMs). Previous approaches have explored various prompting schemes, yet they suffer from error propagation due to the autoregressive nature and single-pass-based decoding, which lack error correction capability. Additionally, relying solely on a single sample may result in the omission of true nodes and edges. To counter this, we draw inspiration from self-consistency (SC), which involves sampling a diverse set of reasoning chains and taking the majority vote as the final answer. To tackle the substantial challenge of applying SC on generated graphs, we propose MIDGARD (MInimum Description length Guided Aggregation of Reasoning in Directed acyclic graph) that leverages Minimum Description Length (MDL)-based formulation to identify consistent properties among the different graph samples generated by an LLM. This formulation helps reject properties that appear in only a few samples, which are likely to be erroneous, while enabling the inclusion of missing elements without compromising precision. Our method demonstrates superior performance than comparisons across various structured reasoning tasks, including argument structure extraction, explanation graph generation, inferring dependency relations among actions for everyday tasks, and semantic graph generation from natural texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google