Making Long-Context Language Models Better Multi-Hop Reasoners

要約

ロングコンテキスト モデリングの最近の進歩により、複数の NLP アプリケーションにわたる複雑なタスク向けに言語モデル (LM) が強化されました。
この進歩にもかかわらず、これらのモデルはマルチホップ推論に苦労し、ノイズの多いコンテキストが存在するとパフォーマンスが低下することがわかりました。
この論文では、LM が推論中に各アサーションの属性を提供するように促す新しいアプローチである、属性を使用した推論を紹介します。
私たちは、独自モデルとオープンソース モデルの両方を採用した 3 つのマルチホップ データセットでの実験を通じてアプローチを検証し、その有効性と回復力を実証します。
さらに、微調整によって推論能力を強化する方法を探索し、属性アノテーション付きのデータセットと特殊なトレーニング戦略を提供します。
私たちの微調整されたモデルは、マルチホップ推論ベンチマークで競争力のあるパフォーマンスを達成し、ChatGPT や Claude-instant などの独自の LM とほぼ同等のパフォーマンスを実現します。

要約(オリジナル)

Recent advancements in long-context modeling have enhanced language models (LMs) for complex tasks across multiple NLP applications. Despite this progress, we find that these models struggle with multi-hop reasoning and exhibit decreased performance in the presence of noisy contexts. In this paper, we introduce Reasoning with Attributions, a novel approach that prompts LMs to supply attributions for each assertion during their reasoning. We validate our approach through experiments on three multi-hop datasets, employing both proprietary and open-source models, and demonstrate its efficacy and resilience. Furthermore, we explore methods to augment reasoning capabilities via fine-tuning and offer an attribution-annotated dataset and a specialized training strategy. Our fine-tuned model achieves competitive performance on multi-hop reasoning benchmarks, closely paralleling proprietary LMs such as ChatGPT and Claude-instant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google