DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment

要約

最近の研究では、法的事件の検索に事前トレーニングされた言語モデルを使用することが有効であることが実証されています。
既存の研究のほとんどは、[CLS] トークンの文脈化された埋め込みの表現能力を向上させることに焦点を当てており、テキストの意味論的な類似性を使用して関連性を計算しています。
ただし、法律分野では、テキストの意味上の類似性は、必ずしも事件が十分に関連していることを意味するわけではありません。
むしろ、訴訟における関連性は主に、最終判決に影響を与える重要な事実の類似性に依存します。
訴訟は長く、重要でない事実が多数含まれているため、適切な処理がなければ、学習された表現の識別能力が制限される可能性があります。
この目的を達成するために、法的事件の検索用に設計された識別モデルである DELTA を導入します。
基本的なアイデアには、訴訟における重要な事実を正確に特定し、重要でない事実を遠ざけながら、[CLS] トークンのコンテキスト化された埋め込みを重要な事実に近づけることが含まれます。これにより、監視されていない方法で訴訟の埋め込みスペースを温めることができます。
具体的には、この研究では、単語アライメント メカニズムをコンテキスト マスク自動エンコーダーに導入します。
まず、浅いデコーダを活用して情報ボトルネックを作成し、表現能力の向上を目指します。
次に、重要な事実を正確に特定して識別能力を高めることを目的として、ディープ デコーダを採用して異なる構造間の変換を可能にします。
公的に利用可能な法的ベンチマークに対して行われた包括的な実験により、私たちのアプローチが法的事件の検索において既存の最先端の方法を上回るパフォーマンスを発揮できることが示されました。
訴訟文書の深い理解と処理に関する新しい視点を提供します。

要約(オリジナル)

Recent research demonstrates the effectiveness of using pre-trained language models for legal case retrieval. Most of the existing works focus on improving the representation ability for the contextualized embedding of the [CLS] token and calculate relevance using textual semantic similarity. However, in the legal domain, textual semantic similarity does not always imply that the cases are relevant enough. Instead, relevance in legal cases primarily depends on the similarity of key facts that impact the final judgment. Without proper treatments, the discriminative ability of learned representations could be limited since legal cases are lengthy and contain numerous non-key facts. To this end, we introduce DELTA, a discriminative model designed for legal case retrieval. The basic idea involves pinpointing key facts in legal cases and pulling the contextualized embedding of the [CLS] token closer to the key facts while pushing away from the non-key facts, which can warm up the case embedding space in an unsupervised manner. To be specific, this study brings the word alignment mechanism to the contextual masked auto-encoder. First, we leverage shallow decoders to create information bottlenecks, aiming to enhance the representation ability. Second, we employ the deep decoder to enable translation between different structures, with the goal of pinpointing key facts to enhance discriminative ability. Comprehensive experiments conducted on publicly available legal benchmarks show that our approach can outperform existing state-of-the-art methods in legal case retrieval. It provides a new perspective on the in-depth understanding and processing of legal case documents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google