AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph

要約

認知研究では、人間の知能には抽象化能力が不可欠であることが示されていますが、言語モデルではまだ解明されていません。
この論文では、抽象化知識の 221K テキスト記述の統合含意グラフである AbsPyramid を紹介します。
既存のリソースは単純化されたイベントまたは特定のドメイン内の名詞または動詞のみを扱っていますが、AbsPyramid は多様なイベントの 3 つのコンポーネントに関する抽象的な知識を収集し、オープン ドメインでの言語モデルの抽象化能力を包括的に評価します。
実験結果は、現在の LLM がゼロショット設定および少数ショット設定での抽象化知識を理解するという課題に直面していることを示しています。
豊富な抽象化の知識をトレーニングすることで、LLM が基本的な抽象化能力を獲得し、目に見えないイベントに一般化できることがわかりました。
それまでの間、私たちのベンチマークは、以前の 2 つの抽象化タスクにわたって LLM を強化するための包括的なものであることを経験的に示しています。

要約(オリジナル)

Cognitive research indicates that abstraction ability is essential in human intelligence, which remains under-explored in language models. In this paper, we present AbsPyramid, a unified entailment graph of 221K textual descriptions of abstraction knowledge. While existing resources only touch nouns or verbs within simplified events or specific domains, AbsPyramid collects abstract knowledge for three components of diverse events to comprehensively evaluate the abstraction ability of language models in the open domain. Experimental results demonstrate that current LLMs face challenges comprehending abstraction knowledge in zero-shot and few-shot settings. By training on our rich abstraction knowledge, we find LLMs can acquire basic abstraction abilities and generalize to unseen events. In the meantime, we empirically show that our benchmark is comprehensive to enhance LLMs across two previous abstraction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google