FiTs: Fine-grained Two-stage Training for Knowledge-aware Question Answering

要約

知識認識型質問応答 (KAQA) では、モデルが知識ベースを介して質問に回答する必要があります。これは、特に言語モデルだけでは必要なすべての知識を提供できない場合に、オープン ドメイン QA とドメイン固有 QA の両方に不可欠です。
複雑な質問に答えるために、事前トレーニング済み言語モデル (PLM) からの言語知識とナレッジ グラフ (KG) からの事実知識を統合する傾向がある最近の KAQA システムの有望な結果にもかかわらず、PLM と KG からの表現を効果的に融合する際にボトルネックが存在します。
（i）それらの間の意味論的および分配上のギャップ、および（ii）両方のモダリティから提供された知識に関する共同推論の難しさ。
上記の 2 つの問題に対処するために、KAQA システムのパフォーマンスを向上させるために、粒度の細かい 2 段階のトレーニング フレームワーク (FiT) を提案します。最初の段階は、PLM と KG からの表現を調整することを目的とし、それらの間のモダリティ ギャップを埋めます。
ナレッジ アダプティブ ポスト トレーニングと名付けられました。
知識認識微調整と呼ばれる第 2 段階は、整列された表現に基づいてモデルの共同推論能力を向上させることを目的としています。
詳細には、QA 監督に加えて、2 つの補助的な自己監督タスクを使用して、トレーニング後のモデルを微調整します。
広範な実験により、私たちのアプローチが、常識的な推論 (CommonsenseQA、OpenbookQA) および医学的質問応答 (MedQA-USMILE) ドメインの 3 つのベンチマークで最先端のパフォーマンスを達成することが実証されています。

要約(オリジナル)

Knowledge-aware question answering (KAQA) requires the model to answer questions over a knowledge base, which is essential for both open-domain QA and domain-specific QA, especially when language models alone cannot provide all the knowledge needed. Despite the promising result of recent KAQA systems which tend to integrate linguistic knowledge from pre-trained language models (PLM) and factual knowledge from knowledge graphs (KG) to answer complex questions, a bottleneck exists in effectively fusing the representations from PLMs and KGs because of (i) the semantic and distributional gaps between them, and (ii) the difficulties in joint reasoning over the provided knowledge from both modalities. To address the above two problems, we propose a Fine-grained Two-stage training framework (FiTs) to boost the KAQA system performance: The first stage aims at aligning representations from the PLM and the KG, thus bridging the modality gaps between them, named knowledge adaptive post-training. The second stage, called knowledge-aware fine-tuning, aims to improve the model’s joint reasoning ability based on the aligned representations. In detail, we fine-tune the post-trained model via two auxiliary self-supervised tasks in addition to the QA supervision. Extensive experiments demonstrate that our approach achieves state-of-the-art performance on three benchmarks in the commonsense reasoning (i.e., CommonsenseQA, OpenbookQA) and medical question answering (i.e., MedQA-USMILE) domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google