ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base

要約

タイトル：ANALOGYKB：100万件のスケールの知識ベースを用いた言語モデルの類推推論
要約：
– 類推推論は人間の基本的な認知能力であるが、現在の言語モデルでは学習データの不足により、人間に近いパフォーマンスを発揮することがまだ困難である。
– この研究では、既存の知識グラフから派生した100万件規模の類推知識ベース「ANALOGYKB」を提案し、言語モデルの学習資源不足を解決する。
– ANALOGYKBは、2種類の類比を知識グラフから抽出する：1）同じ関係の類比、2）類似した関係の類比。後者は、大規模言語モデル（InstructGPT）による選択とフィルタリング処理を経て、データ品質管理のためのわずかな人的努力によって識別される。
– 2つの類推推論タスク（類推認識および生成）のデータセットでの評価により、ANALOGYKBは従来の最先端の手法よりも優れた結果を得ることができることが示された。

要点：
– 類推推論は人間の基本的な認知能力である。
– 現在の言語モデルでは類推推論タスクのパフォーマンスが低い。
– 既存の知識グラフから派生した100万件規模の類推知識ベース「ANALOGYKB」を提案し、言語モデルの学習資源不足を解決する。
– 分類された2つの類似関係からなる類比を知識グラフから抽出する。
– ANALOGYKBは言語モデルの類推推論タスクのパフォーマンスを向上させる。

要約(オリジナル)

Analogical reasoning is a fundamental cognitive ability of humans. However, current language models (LMs) still struggle to achieve human-like performance in analogical reasoning tasks due to a lack of resources for model training. In this work, we address this gap by proposing ANALOGYKB, a million-scale analogy knowledge base (KB) derived from existing knowledge graphs (KGs). ANALOGYKB identifies two types of analogies from the KGs: 1) analogies of the same relations, which can be directly extracted from the KGs, and 2) analogies of analogous relations, which are identified with a selection and filtering pipeline enabled by large LMs (InstructGPT), followed by minor human efforts for data quality control. Evaluations on a series of datasets of two analogical reasoning tasks (analogy recognition and generation) demonstrate that ANALOGYKB successfully enables LMs to achieve much better results than previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI