Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding

要約

大規模言語モデル (LLM) は、自然言語処理において顕著な能力を示しています。
ただし、長い文脈を理解し、効果的な質問応答を実行するという任務を負った場合には、依然として困難に直面しています。
これらの課題は、長いテキストに存在する複雑さと曖昧さによって生じることがよくあります。
このようなシナリオで LLM のパフォーマンスを向上させるために、Long Question Coreference Adaptation (LQCA) メソッドを導入します。
この革新的なフレームワークは、長いコンテキストに合わせた共参照解決に焦点を当てており、モデルが参照を効率的に識別して管理できるようにします。
LQCA メソッドには、サブ文書内の共参照の解決、言及間の距離の計算、共参照の代表的な言及の定義、言及の置換による質問への回答という 4 つの主要なステップが含まれます。
情報を体系的に処理することで、フレームワークは LLM に扱いやすいパーティションを提供し、理解を促進します。
さまざまな LLM およびデータセットに対する実験評価では、OpenAI-o1-mini および GPT-4o モデルで顕著な改善が見られ、肯定的な結果が得られ、質問応答におけるコンテキスト ギャップを埋めるために共参照解決を活用することの有効性が強調されています。

要約(オリジナル)

Large language models (LLMs) have shown remarkable capabilities in natural language processing; however, they still face difficulties when tasked with understanding lengthy contexts and executing effective question answering. These challenges often arise due to the complexity and ambiguity present in longer texts. To enhance the performance of LLMs in such scenarios, we introduce the Long Question Coreference Adaptation (LQCA) method. This innovative framework focuses on coreference resolution tailored to long contexts, allowing the model to identify and manage references effectively. The LQCA method encompasses four key steps: resolving coreferences within sub-documents, computing the distances between mentions, defining a representative mention for coreference, and answering questions through mention replacement. By processing information systematically, the framework provides easier-to-handle partitions for LLMs, promoting better understanding. Experimental evaluations on a range of LLMs and datasets have yielded positive results, with a notable improvements on OpenAI-o1-mini and GPT-4o models, highlighting the effectiveness of leveraging coreference resolution to bridge context gaps in question answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google