Reasoning about concepts with LLMs: Inconsistencies abound

要約

知識を要約して抽象的な概念に整理する能力は、学習と推論の鍵となります。
多くの産業用アプリケーションは、特に意思決定に重要な知識を扱う場合、概念を一貫して体系的に使用することに依存しています。
しかし、体系的に質問されると、大規模言語モデル (LLM) は知識に重大な矛盾を示し、実証することが多いことを示しています。
計算的には、特定のドメインの概念化の基本的な側面は、単純な推論を可能にするいくつかのプロパティまたは公理とともに、ナレッジ グラフ (KG) またはオントロジーの Is-A 階層として表すことができます。
我々は、単純なオントロジーであっても、複数の LLM にわたる概念的な矛盾を明らかにするために使用できることを示します。
また、ドメイン専門家がさまざまな規模の LLM における主要なドメイン概念のカバレッジを評価および改善するために使用できる戦略も提案します。
特に、単純なナレッジグラフ (KG) ベースのプロンプト戦略を使用して、公開されている重みを使用してさまざまなサイズの LLM のパフォーマンスを大幅に向上させることができました。

要約(オリジナル)

The ability to summarize and organize knowledge into abstract concepts is key to learning and reasoning. Many industrial applications rely on the consistent and systematic use of concepts, especially when dealing with decision-critical knowledge. However, we demonstrate that, when methodically questioned, large language models (LLMs) often display and demonstrate significant inconsistencies in their knowledge. Computationally, the basic aspects of the conceptualization of a given domain can be represented as Is-A hierarchies in a knowledge graph (KG) or ontology, together with a few properties or axioms that enable straightforward reasoning. We show that even simple ontologies can be used to reveal conceptual inconsistencies across several LLMs. We also propose strategies that domain experts can use to evaluate and improve the coverage of key domain concepts in LLMs of various sizes. In particular, we have been able to significantly enhance the performance of LLMs of various sizes with openly available weights using simple knowledge-graph (KG) based prompting strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google