Temporal Knowledge Question Answering via Abstract Reasoning Induction

要約

この論文では、大規模言語モデル (LLM) における時間的知識推論という重要な課題に取り組みます。LLM ではこのようなモデルが頻繁に困難に遭遇します。
これらの困難により、主に進化する事実の知識と複雑な時相論理を処理する能力が限られているために、誤解を招く情報や不正確な情報が生成されることがよくあります。
これに応えて、私たちは、知識の統合とカスタマイズのアクティブで継続的なプロセスに向けた LLM 学習のパラダイムシフトを提唱する、新しい構成主義ベースのアプローチを提案します。
私たちの提案の中心となるのは、時間的推論を知識に依存しないフェーズと知識に基づくフェーズという 2 つの異なるフェーズに分割する、抽象推論誘導 ARI フレームワークです。
この部門は、幻覚の事例を減らし、過去のデータから得られた抽象的な方法論を統合する LLM の能力を向上させることを目的としています。
私たちのアプローチは、2 つの時間 QA データセットで 29.7\% と 9.27\% の相対的な向上を達成し、LLM における時間推論の進歩におけるその有効性を強調しています。
コードは https://github.com/czy1999/ARI で公開されます。

要約(オリジナル)

In this paper, we tackle the significant challenge of temporal knowledge reasoning in Large Language Models (LLMs), an area where such models frequently encounter difficulties. These difficulties often result in the generation of misleading or incorrect information, primarily due to their limited capacity to process evolving factual knowledge and complex temporal logic. In response, we propose a novel, constructivism-based approach that advocates for a paradigm shift in LLM learning towards an active, ongoing process of knowledge synthesis and customization. At the heart of our proposal is the Abstract Reasoning Induction ARI framework, which divides temporal reasoning into two distinct phases: Knowledge-agnostic and Knowledge-based. This division aims to reduce instances of hallucinations and improve LLMs’ capacity for integrating abstract methodologies derived from historical data. Our approach achieves remarkable improvements, with relative gains of 29.7\% and 9.27\% on two temporal QA datasets, underscoring its efficacy in advancing temporal reasoning in LLMs. The code will be released at https://github.com/czy1999/ARI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google