Teaching Pretrained Models with Commonsense Reasoning: A Preliminary KB-Based Approach

要約

最近、事前トレーニング済みの言語モデル (BERT など) は、多くの下流の自然言語理解タスクで大きな成功を収め、一定レベルの常識的な推論能力を示しています。
しかし、常識的なタスクのパフォーマンスは、まだ人間のパフォーマンスにはほど遠いです。
予備的な試みとして、最大の常識知識ベース (KB) である ConceptNet の構造化された知識を活用して、事前訓練されたモデルに常識的な推論を教えるシンプルで効果的な方法を提案します。
具体的には、KB の構造化された知識により、さまざまな論理形式を構築し、常識的な論理的推論を必要とする多肢選択問題を生成できます。
実験結果は、これらのトレーニング例を改良すると、事前トレーニング済みモデルが、特に少数ショット学習設定で、常識的な推論を必要とするタスクのパフォーマンスを一貫して改善することを示しています。
さらに、どの論理関係が常識的な推論に関連性が高いかを理解するための分析も行います。

要約(オリジナル)

Recently, pretrained language models (e.g., BERT) have achieved great success on many downstream natural language understanding tasks and exhibit a certain level of commonsense reasoning ability. However, their performance on commonsense tasks is still far from that of humans. As a preliminary attempt, we propose a simple yet effective method to teach pretrained models with commonsense reasoning by leveraging the structured knowledge in ConceptNet, the largest commonsense knowledge base (KB). Specifically, the structured knowledge in KB allows us to construct various logical forms, and then generate multiple-choice questions requiring commonsense logical reasoning. Experimental results demonstrate that, when refined on these training examples, the pretrained models consistently improve their performance on tasks that require commonsense reasoning, especially in the few-shot learning setting. Besides, we also perform analysis to understand which logical relations are more relevant to commonsense reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google