Multi-hop Commonsense Knowledge Injection Framework for Zero-Shot Commonsense Question Answering

要約

タイトル: ゼロショット共通感覚問題解決のためのマルチホップ共通感覚知識インジェクションフレームワーク

要約:
– 共通感覚の質問応答研究は、共通感覚知識に基づいて質問に答えるために機械が必要です。
– 現在の質問回答ルールを使ったモデルには、研究の基盤となるデータを注釈するために高い労働コストが必要です。それに加え、特定のタスクのみに適用されるため、一般的な共通感覚の推論能力を学習することができません。
– ゼロショット共通感覚問題解決は、より堅牢な方法であり、現在のゼロショットフレームワークでは、共通感覚知識グラフ（KG）内のトリプルをQA形式のサンプルに変換して、モデルに共通感覚知識を組み込むための事前学習データ源として使用します。
– しかし、この方法はKG内のマルチホップ関係を無視しています。このことは、共通感覚の推論においても重要な中心的な問題です。
– 本論文では、新しいマルチホップ共通感覚知識インジェクションフレームワークを提案しています。具体的には、言語的論理に従うKG内のマルチホップ推論パラダイムを探求し、KGに基づく2つのマルチホップQA生成方法を提案しています。
– そして、シンセティックQAデータセットを用いたコントラスティブラーニングを利用して、マルチホップ共通感覚知識をインジェクトするためにモデルを事前学習します。
– 5つの共通感覚質問回答ベンチマークでの広範な実験により、本フレームワークは最先端の性能を発揮することが確認されました。

要約(オリジナル)

Commonsense question answering (QA) research requires machines to answer questions based on commonsense knowledge. However, this research requires expensive labor costs to annotate data as the basis of research, and models that rely on fine-tuning paradigms only apply to specific tasks, rather than learn a general commonsense reasoning ability. As a more robust method, zero-shot commonsense question answering shows a good prospect. The current zero-shot framework tries to convert triples in commonsense knowledge graphs (KGs) into QA-form samples as the pre-trained data source to incorporate commonsense knowledge into the model. However, this method ignores the multi-hop relationship in the KG, which is also an important central problem in commonsense reasoning. In this paper, we propose a novel multi-hop commonsense knowledge injection framework. Specifically, it explores multi-hop reasoning paradigm in KGs that conform to linguistic logic, and we further propose two multi-hop QA generation methods based on KGs. Then, we utilize contrastive learning to pre-train the model with the synthetic QA dataset to inject multi-hop commonsense knowledge. Extensive experiments on five commonsense question answering benchmarks demonstrate that our framework achieves state-of-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI