Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context

要約

継続的に進歩する AI 環境では、大規模言語モデル (LLM) を介してコンテキスト豊富で意味のある応答を作成することが不可欠です。
研究者は、パラメータが少ない LLM が自由形式の質問に適切な回答を提供しようとするときに遭遇する課題をより認識するようになってきています。
これらのハードルに対処するために、最先端の戦略を統合し、LLM に対する豊富な外部ドメイン知識を強化することで、大幅な改善がもたらされます。
このペーパーでは、グラフ駆動のコンテキスト取得とナレッジ グラフ ベースの強化を組み合わせた新しいフレームワークを紹介し、特に AskUbuntu、Unix、ServerFault などのドメイン固有のコミュニティ質問応答プラットフォームにおける LLM の習熟度を磨きます。
私たちは、さまざまなパラメーター サイズを使用してさまざまな LLM で実験を実施し、知識を根付かせる能力を評価し、自由形式の質問に対する回答の事実の正確さを判断します。
私たちの方法論 GraphContextGen は、主要なテキストベースの検索システムを常に上回っており、その堅牢性と多数のユースケースへの適応性を実証しています。
この進歩は、コンテキストリッチなデータ取得と LLM を組み合わせる重要性を強調し、AI システムにおける知識の調達と生成に対する新たなアプローチを提供します。
また、豊富なコンテキスト データの取得により、重要なエンティティは、生成された回答とともに、ゴールド アンサーと事実上一貫したままであることも示します。

要約(オリジナル)

In the continuously advancing AI landscape, crafting context-rich and meaningful responses via Large Language Models (LLMs) is essential. Researchers are becoming more aware of the challenges that LLMs with fewer parameters encounter when trying to provide suitable answers to open-ended questions. To address these hurdles, the integration of cutting-edge strategies, augmentation of rich external domain knowledge to LLMs, offers significant improvements. This paper introduces a novel framework that combines graph-driven context retrieval in conjunction to knowledge graphs based enhancement, honing the proficiency of LLMs, especially in domain specific community question answering platforms like AskUbuntu, Unix, and ServerFault. We conduct experiments on various LLMs with different parameter sizes to evaluate their ability to ground knowledge and determine factual accuracy in answers to open-ended questions. Our methodology GraphContextGen consistently outperforms dominant text-based retrieval systems, demonstrating its robustness and adaptability to a larger number of use cases. This advancement highlights the importance of pairing context rich data retrieval with LLMs, offering a renewed approach to knowledge sourcing and generation in AI systems. We also show that, due to rich contextual data retrieval, the crucial entities, along with the generated answer, remain factually coherent with the gold answer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google