Explanation Graph Generation via Generative Pre-training over Synthetic Graphs

要約

説明グラフの生成は、ユーザー入力に応じて説明グラフを生成し、内部推論プロセスを明らかにすることを目的とした重要なタスクです。
構造化されていないユーザー クエリと構造化された説明グラフの間には大きな矛盾があるため、このタスクは困難です。
現在の研究では、ラベル付きグラフで注釈が付けられた小さな下流データセット上で、テキストベースの事前トレーニング済み言語モデルを微調整するのが一般的です。
ただし、利用可能なデータセットの規模が限られているため、このアプローチは自然言語テキストと構造化グラフの間のギャップを埋めるには不十分であることが判明する可能性があります。
この論文では、上記の制限を軽減するために、説明グラフ生成タスク用の新しい事前トレーニングフレームワークEG3P（合成グラフに対する生成事前トレーニングによる説明グラフ生成用）を提案します。
具体的には、まず、テキストとグラフのギャップを埋めることを目的として、モデルを事前トレーニングするためのテキストからグラフへの生成タスクを提案します。
さらに、高品質のコーパスを大規模に合成し、コストのかかる手動のアノテーション方法への依存を減らすための自動コーパス合成戦略を提案します。
ExplaGraphs の実験結果は、EG3P の有効性を示しており、私たちのモデルはすべてのベースライン システムを大幅に上回っています。
さらに、さらなる分析により、EG3P が CommonsenseQA や OpenbookQA などの実際の推論タスクに関してより適切な説明グラフを生成できることが実証されました。

要約(オリジナル)

The generation of explanation graphs is a significant task that aims to produce explanation graphs in response to user input, revealing the internal reasoning process. This task is challenging due to the significant discrepancy between unstructured user queries and structured explanation graphs. Current research commonly fine-tunes a text-based pre-trained language model on a small downstream dataset that is annotated with labeled graphs. However, due to the limited scale of available datasets, this approach may prove to be insufficient in bridging the gap between natural language text and structured graphs. In this paper, to alleviate the above limitations, we propose a novel pre-trained framework EG3P(for Explanation Graph Generation via Generative Pre-training over synthetic graphs) for the explanation graph generation task. Specifically, we first propose a text-to-graph generative task to pre-train the model with the goal of bridging the text-graph gap. Additionally, we propose an automatic corpus synthesis strategy for synthesizing a large scale of high-quality corpus, reducing the reliance on costly manual annotation methods. Experimental results on ExplaGraphs show the effectiveness of EG3P that our model surpasses all baseline systems with remarkable margins. Besides, further analysis demonstrates that EG3P is able to generate better explanation graphs on actual reasoning tasks such as CommonsenseQA and OpenbookQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google