Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering

要約

法律質問応答 (QA) は、法律相談を求める人々からますます注目を集めています。QA は、質問と回答のペアの大規模なデータベースから最も適切な回答を検索することを目的としています。
以前の方法では、主にデュアル エンコーダ アーキテクチャを使用して、質問と回答の両方の密な表現を学習していました。
ただし、これらの方法では、ドメインの知識と十分なラベル付きトレーニング データが不足していることが問題となる可能性があります。
この論文では、\underline{l}egal \underline{QA のための 3 段階 (\underline{p}再トレーニング、\underline{f}ine-tuning、\underline{r}e-ranking) フレームワークを提案します。
これは、きめ細かいテキスト表現の学習を促進し、デュアル エンコーダ アーキテクチャによる高密度検索のパフォーマンスを向上させます。
具体的には、まず自己教師付きトレーニング目標を通じて法的な質問と回答に関する領域固有の事前トレーニングを実施し、事前トレーニングされたモデルを法的領域に適応できるようにします。
次に、教師あり学習目標を使用して法的質問と回答のペアに対してデュアル エンコーダーのタスク固有の微調整を実行し、特定の下流 QA タスク向けの高品質デュアル エンコーダーを実現します。
最後に、ドキュメント エンコーダーによって生成された質問の出力表現をさらに洗練するために、文脈上の再ランキング目標を採用します。これは、質問の再ランキングを向上させるために、文脈上の類似性を使用してアンカーとハード ネガティブ サンプル間の不一致を増加させます。
私たちは、手動で注釈を付けた法的 QA データセットに対して広範な実験を行っています。
実験結果は、当社の PFR-LQA メソッドが法的質問応答の強力な競合他社よりも優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Legal question answering (QA) has attracted increasing attention from people seeking legal advice, which aims to retrieve the most applicable answers from a large-scale database of question-answer pairs. Previous methods mainly use a dual-encoder architecture to learn dense representations of both questions and answers. However, these methods could suffer from lacking domain knowledge and sufficient labeled training data. In this paper, we propose a three-stage (\underline{p}re-training, \underline{f}ine-tuning and \underline{r}e-ranking) framework for \underline{l}egal \underline{QA} (called PFR-LQA), which promotes the fine-grained text representation learning and boosts the performance of dense retrieval with the dual-encoder architecture. Concretely, we first conduct domain-specific pre-training on legal questions and answers through a self-supervised training objective, allowing the pre-trained model to be adapted to the legal domain. Then, we perform task-specific fine-tuning of the dual-encoder on legal question-answer pairs by using the supervised learning objective, leading to a high-quality dual-encoder for the specific downstream QA task. Finally, we employ a contextual re-ranking objective to further refine the output representations of questions produced by the document encoder, which uses contextual similarity to increase the discrepancy between the anchor and hard negative samples for better question re-ranking. We conduct extensive experiments on a manually annotated legal QA dataset. Experimental results show that our PFR-LQA method achieves better performance than the strong competitors for legal question answering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google