Facilitating Long Context Understanding via Supervised Chain-of-Thought Reasoning

要約

大規模な言語モデル（LLM）の最近の進歩により、2Kから2mのトークン、さらにはさらに長いシーケンスを処理することができました。
ただし、入力シーケンスの長さを拡張するだけでも、必ずしも効果的な長いコンテキストの理解につながるわけではありません。
この研究では、効果的な長いコンテストの理解を促進するために、監督された方法でチェーンオブ考え（COT）の推論をLLMに統合します。
これを達成するために、長いコンテキストの推論を改善するために設計された金融ドメインに合成データセットであるLongfinanceQAを紹介します。
既存のロングコンテキスト合成データとは異なり、LongFinanceQAには、最終的な結論の前に中間COTの推論が含まれています。これにより、LLMは明示的な推論を実行し、長期の理解における精度と解釈性を向上させることが奨励されています。
合成COTの推論を生成するために、プロパティ駆動型のエージェント推論（PAI）を提案します。これは、プロパティの抽出、検索、要約を含む人間のような推論ステップをシミュレートするエージェントフレームワークです。
Loong BenchmarkでGPT-4O-MINI W/ PAIを評価することにより、PAIの推論能力を評価し、標準のGPT-4O-MINIを20.0％上回ります。
さらに、LongFinanceQAでLlama-3.1-8B-Instructを微調整し、LoongのFinancial Subsetで24.6％の増加を達成しました。

要約(オリジナル)

Recent advances in Large Language Models (LLMs) have enabled them to process increasingly longer sequences, ranging from 2K to 2M tokens and even beyond. However, simply extending the input sequence length does not necessarily lead to effective long-context understanding. In this study, we integrate Chain-of-Thought (CoT) reasoning into LLMs in a supervised manner to facilitate effective long-context understanding. To achieve this, we introduce LongFinanceQA, a synthetic dataset in the financial domain designed to improve long-context reasoning. Unlike existing long-context synthetic data, LongFinanceQA includes intermediate CoT reasoning before the final conclusion, which encourages LLMs to perform explicit reasoning, improving accuracy and interpretability in long-context understanding. To generate synthetic CoT reasoning, we propose Property-driven Agentic Inference (PAI), an agentic framework that simulates human-like reasoning steps, including property extraction, retrieval, and summarization. We evaluate PAI’s reasoning capabilities by assessing GPT-4o-mini w/ PAI on the Loong benchmark, outperforming standard GPT-4o-mini by 20.0%. Furthermore, we fine-tune LLaMA-3.1-8B-Instruct on LongFinanceQA, achieving a 24.6% gain on Loong’s financial subset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google