Context-Aware Transformer Pre-Training for Answer Sentence Selection

要約

Answer Sentence Selection (AS2) は、正確な質問応答パイプラインを構築するためのコア コンポーネントです。
AS2 モデルは、特定の質問に答える可能性の高さに基づいて、一連の候補文をランク付けします。
AS2 の最新技術では、候補文の周囲のローカルなコンテキスト情報を使用しながら、事前トレーニングされたトランスフォーマーを大規模な注釈付きデータセットに転送することで活用します。
この論文では、コンテキスト AS2 の下流微調整タスクを模倣するように設計された 3 つの事前トレーニング目標を提案します。
これにより、コンテキスト AS2 を微調整するときに LM を特殊化することができます。
3 つの公開データセットと 2 つの大規模産業データセットでの実験では、事前トレーニング アプローチ (RoBERTa と ELECTRA に適用) により、一部のデータセットでベースライン コンテキスト AS2 精度を最大 8% 向上できることがわかりました。

要約(オリジナル)

Answer Sentence Selection (AS2) is a core component for building an accurate Question Answering pipeline. AS2 models rank a set of candidate sentences based on how likely they answer a given question. The state of the art in AS2 exploits pre-trained transformers by transferring them on large annotated datasets, while using local contextual information around the candidate sentence. In this paper, we propose three pre-training objectives designed to mimic the downstream fine-tuning task of contextual AS2. This allows for specializing LMs when fine-tuning for contextual AS2. Our experiments on three public and two large-scale industrial datasets show that our pre-training approaches (applied to RoBERTa and ELECTRA) can improve baseline contextual AS2 accuracy by up to 8% on some datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google