AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking

要約

タイトル：AttenWalker：注意ベースのグラフウォーキングによる教師なしの長文書問答

要約：

– 長文書の問答ペアを注釈付けすることは、時間とコストがかかる。
– これを解決するために、教師なしの問答方法で長文書の問答ペアを生成することが可能かもしれない。
– しかし、既存の教師なしの問答タスクは短いドキュメントに基づいており、長い範囲の情報をほとんど組み込むことができない。
– この問題を解決するために、AttenWalkerという教師なしのメソッドを提案し、注目のグラフウォーキングを使用して、長期依存性を持つ回答を集約および生成し、長文書問答ペアを構築することができます。
– AttenWalkerは、3つのモジュールで構成されています。 1.スパンコレクター 2.スパンリンカー 3.回答集約器。
– AttenWalkerは、QasperおよびNarrativeQAにおいて、以前の方法よりも優れたパフォーマンスを示しています。 また、AttenWalkerは、少数の学習状況でも強力なパフォーマンスを発揮します。

要約(オリジナル)

Annotating long-document question answering (long-document QA) pairs is time-consuming and expensive. To alleviate the problem, it might be possible to generate long-document QA pairs via unsupervised question answering (UQA) methods. However, existing UQA tasks are based on short documents, and can hardly incorporate long-range information. To tackle the problem, we propose a new task, named unsupervised long-document question answering (ULQA), aiming to generate high-quality long-document QA instances in an unsupervised manner. Besides, we propose AttenWalker, a novel unsupervised method to aggregate and generate answers with long-range dependency so as to construct long-document QA pairs. Specifically, AttenWalker is composed of three modules, i.e., span collector, span linker and answer aggregator. Firstly, the span collector takes advantage of constituent parsing and reconstruction loss to select informative candidate spans for constructing answers. Secondly, by going through the attention graph of a pre-trained long-document model, potentially interrelated text spans (that might be far apart) could be linked together via an attention-walking algorithm. Thirdly, in the answer aggregator, linked spans are aggregated into the final answer via the mask-filling ability of a pre-trained model. Extensive experiments show that AttenWalker outperforms previous methods on Qasper and NarrativeQA. In addition, AttenWalker also shows strong performance in the few-shot learning setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI