QASem Parsing: Text-to-text Modeling of QA-based Semantics

要約

最近のいくつかの研究では、質問と回答との意味関係を表現し、テキスト情報を個別の疑問文の自然言語ステートメントに分解することが提案されています。
このホワイト ペーパーでは、3 つの QA ベースのセマンティック タスク、つまり QA-SRL、QANom、QADiscourse を検討し、それぞれが特定のタイプの述語を対象としており、それらを組み合わせてテキスト情報の包括的な表現を提供すると見なすことを提案します。
この目標を促進するために、質問と回答のペアの順序付けられていないセットで構成される半構造化出力の独自のセットアップ内で、sequence-to-sequence (seq2seq) 事前トレーニング済み言語モデルの能力を最大限に活用する方法を調査します。
さまざまな入力と出力の線形化戦略を調べ、不均衡なトレーニング データの設定におけるマルチタスク学習と単純なデータ拡張手法の効果を評価します。
その結果、テキスト内の情報単位の明示的な QA ベースのアカウントから恩恵を受けることができるダウンストリーム アプリケーションにとって実用的な、最初の統一された QASem 解析ツールをリリースします。

要約(オリジナル)

Several recent works have suggested to represent semantic relations with questions and answers, decomposing textual information into separate interrogative natural language statements. In this paper, we consider three QA-based semantic tasks – namely, QA-SRL, QANom and QADiscourse, each targeting a certain type of predication – and propose to regard them as jointly providing a comprehensive representation of textual information. To promote this goal, we investigate how to best utilize the power of sequence-to-sequence (seq2seq) pre-trained language models, within the unique setup of semi-structured outputs, consisting of an unordered set of question-answer pairs. We examine different input and output linearization strategies, and assess the effect of multitask learning and of simple data augmentation techniques in the setting of imbalanced training data. Consequently, we release the first unified QASem parsing tool, practical for downstream applications who can benefit from an explicit, QA-based account of information units in a text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google