Bilingual BSARD: Extending Statutory Article Retrieval to Dutch

要約

法定記事の検索は、素人と法律専門家の両方が法律情報にアクセスしやすくする上で重要な役割を果たします。
ベルギーのような多言語国家では、法的問題を複数の言語で処理する必要があるため、検索モデルに特有の課題が生じています。
フランス語のベルギー法定記事検索データセット (BSARD) に基づいて、このデータセットのバイリンガル バージョンである bBSARD を導入します。
このデータセットには、フランス語とオランダ語の両方で併記されたベルギーの法定条項と、BSARD からの法的質問とそのオランダ語訳が含まれています。
bBSARD を使用して、オランダ語とフランス語で利用可能な検索モデルの広範なベンチマークを実施します。
当社のベンチマーク設定には、字句モデル、ゼロショット密モデル、微調整された小規模基礎モデルが含まれています。
私たちの実験では、両方の言語の多くのゼロショット高密度モデルと比較して、BM25 が依然として競争力のあるベースラインであることが示されています。
また、ゼロショット設定では独自のモデルがオープンな代替モデルよりも優れたパフォーマンスを発揮しますが、言語固有の小さなモデルを微調整することで同等かそれを上回る可能性があることも観察しています。
データセットと評価コードは公開されています。

要約(オリジナル)

Statutory article retrieval plays a crucial role in making legal information more accessible to both laypeople and legal professionals. Multilingual countries like Belgium present unique challenges for retrieval models due to the need for handling legal issues in multiple languages. Building on the Belgian Statutory Article Retrieval Dataset (BSARD) in French, we introduce the bilingual version of this dataset, bBSARD. The dataset contains parallel Belgian statutory articles in both French and Dutch, along with legal questions from BSARD and their Dutch translation. Using bBSARD, we conduct extensive benchmarking of retrieval models available for Dutch and French. Our benchmarking setup includes lexical models, zero-shot dense models, and fine-tuned small foundation models. Our experiments show that BM25 remains a competitive baseline compared to many zero-shot dense models in both languages. We also observe that while proprietary models outperform open alternatives in the zero-shot setting, they can be matched or surpassed by fine-tuning small language-specific models. Our dataset and evaluation code are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google