ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base

要約

類推は人間の基本的な認知能力です。
しかし、現在の言語モデル (LM) は、モデルのトレーニングのためのリソースが不足しているため、類推タスクにおいて人間のようなパフォーマンスを達成するのに依然として苦労しています。
この研究では、既存のナレッジ グラフ (KG) から派生した百万規模のアナロジー ナレッジ ベース (KB) である ANALOGYKB を提案することで、このギャップに対処します。
ANALOGYKB は、KG から 2 種類のアナロジーを識別します。1) KG から直接抽出できる同じ関係のアナロジー、2) 大規模な言語モデルによって有効になる選択およびフィルター処理パイプラインで識別される、類似関係のアナロジー (
LLM)、その後にデータ品質管理のための小規模な人的努力が続きます。
2 つの類推タスク (類推認識と生成) の一連のデータセットに対する評価では、ANALOGYKB によって小規模な LM と LLM の両方がより優れた類推能力を獲得できることが実証されました。

要約(オリジナル)

Analogical reasoning is a fundamental cognitive ability of humans. However, current language models (LMs) still struggle to achieve human-like performance in analogical reasoning tasks due to a lack of resources for model training. In this work, we address this gap by proposing ANALOGYKB, a million-scale analogy knowledge base (KB) derived from existing knowledge graphs (KGs). ANALOGYKB identifies two types of analogies from the KGs: 1) analogies of the same relations, which can be directly extracted from the KGs, and 2) analogies of analogous relations, which are identified with a selection and filtering pipeline enabled by large language models (LLMs), followed by minor human efforts for data quality control. Evaluations on a series of datasets of two analogical reasoning tasks (analogy recognition and generation) demonstrate that ANALOGYKB successfully enables both smaller LMs and LLMs to gain better analogical reasoning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google