Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution

要約

大規模言語モデル (LLM) は大きな成功を収めていますが、通常、信頼性の低い幻覚に悩まされています。
この論文では、従来の属性付き LM に関する 3 つの中心的な懸念を改善する、知識認識言語モデル アトリビューション (KaLMA) という新しいタスクを定義します。
まず、アトリビューション ソースを非構造化テキストからナレッジ グラフ (KG) に拡張します。その豊富な構造は、アトリビューションのパフォーマンスと作業シナリオの両方に利益をもたらします。
第二に、不完全な知識リポジトリを考慮した新しい「意識的無能」設定を提案します。モデルは、提供されたKGを超えたサポート知識の必要性を特定します。
第三に、テキストの品質、引用の品質、テキストの引用の調整を含む包括的な自動評価指標を提案します。
上記のイノベーションを実装するために、私たちは、質問の複雑さと答えに必要な知識を制御するために、適切に設計された進化的質問生成戦略を通じて伝記ドメイン BioKaLMA にデータセットを構築します。
評価のために、ベースライン ソリューションを開発し、LLM の引用生成における改善の余地を実証し、「意識的無能」設定を組み込む重要性と検索精度の重要な役割を強調します。

要約(オリジナル)

Although achieving great success, Large Language Models (LLMs) usually suffer from unreliable hallucinations. In this paper, we define a new task of Knowledge-aware Language Model Attribution (KaLMA) that improves upon three core concerns on conventional attributed LMs. First, we extend attribution source from unstructured texts to Knowledge Graph (KG), whose rich structures benefit both the attribution performance and working scenarios. Second, we propose a new “Conscious Incompetence’ setting considering the incomplete knowledge repository, where the model identifies the need for supporting knowledge beyond the provided KG. Third, we propose a comprehensive automatic evaluation metric encompassing text quality, citation quality, and text citation alignment. To implement the above innovations, we build a dataset in biography domain BioKaLMA via a well-designed evolutionary question generation strategy, to control the question complexity and necessary knowledge to the answer. For evaluation, we develop a baseline solution and demonstrate the room for improvement in LLMs’ citation generation, emphasizing the importance of incorporating the ‘Conscious Incompetence’ setting, and the critical role of retrieval accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google