LLMs as Repositories of Factual Knowledge: Limitations and Solutions

要約

LLM の知識源は、さまざまなタイムスタンプでさまざまなメディア タイプ (Wiki、ソーシャル メディアなど) から収集されたエンティティに関する事実情報を含むデータ スナップショットです。
このような非構造化知識は、過去から現在に至るまでの時間の経過による更新により変化する可能性があります。
同様に重要なのは、さまざまな情報ソースで発生する不一致や不正確さです。
その結果、エンティティに関するモデルの知識は、一連のスナップショットのトレーニング中または推論時に混乱する可能性があり、その結果、モデルのパフォーマンスが一貫性がなく不正確になる可能性があります。
この研究では、事実知識のリポジトリとしての大規模言語モデル (LLM) の適切性を研究します。
私たちは、クローズド、部分的 (重み)、または完全 (重みおよびトレーニング データ) がオープンソースである 24 個の最先端の LLM を検討します。
プロンプトが混乱した場合の正確性と一貫性の観点から、時間に敏感な事実に関する質問に対する回答の信頼性を評価します。
さらに、LLM の精度と一貫性を向上させるための最先端の手法の有効性を評価します。
次に、モデルのパフォーマンスを向上させるための微調整中にエンティティの構造化表現を提供することを目的としたソフト神経象徴的アプローチである「ENtity-Aware Fine-tuning」(ENAF) を提案します。

要約(オリジナル)

LLMs’ sources of knowledge are data snapshots containing factual information about entities collected at different timestamps and from different media types (e.g. wikis, social media, etc.). Such unstructured knowledge is subject to change due to updates through time from past to present. Equally important are the inconsistencies and inaccuracies occurring in different information sources. Consequently, the model’s knowledge about an entity may be perturbed while training over the sequence of snapshots or at inference time, resulting in inconsistent and inaccurate model performance. In this work, we study the appropriateness of Large Language Models (LLMs) as repositories of factual knowledge. We consider twenty-four state-of-the-art LLMs that are either closed-, partially (weights), or fully (weight and training data) open-source. We evaluate their reliability in responding to time-sensitive factual questions in terms of accuracy and consistency when prompts are perturbed. We further evaluate the effectiveness of state-of-the-art methods to improve LLMs’ accuracy and consistency. We then propose ‘ENtity-Aware Fine-tuning’ (ENAF), a soft neurosymbolic approach aimed at providing a structured representation of entities during fine-tuning to improve the model’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google