MILPaC: A Novel Benchmark for Evaluating Translation of Legal Text to Indian Languages

要約

インドの司法機関のほとんどの法律文書は、歴史的な理由から複雑な英語で書かれています。
しかし、英語を読むことに慣れているインド人はほんの一部です。
したがって、おそらく利用可能な法的文書を英語から翻訳することによって、法的文書をさまざまなインドの言語で利用できるようにする必要があります。
インド言語間での翻訳については多くの研究が行われてきましたが、私たちの知る限り、法律分野でのこのような翻訳に関する先行研究はあまりありませんでした。
この研究では、いくつかの低リソース言語を含む、英語と 9 つのインド言語の整列されたテキスト単位を含む最初の高品質の法律対訳コーパスを構築します。
また、商用 MT システム、オープンソース MT システム、大規模言語モデルなど、このコーパスに対するさまざまな機械翻訳 (MT) システムのパフォーマンスのベンチマークも行っています。
法律実務家による包括的な調査を通じて、これらの MT システムの一部による翻訳に彼らがどの程度満足しているか、また自動 MT 評価指標が法律実務家の意見とどの程度一致しているかを確認します。

要約(オリジナル)

Most legal text in the Indian judiciary is written in complex English due to historical reasons. However, only a small fraction of the Indian population is comfortable in reading English. Hence legal text needs to be made available in various Indian languages, possibly by translating the available legal text from English. Though there has been a lot of research on translation to and between Indian languages, to our knowledge, there has not been much prior work on such translation in the legal domain. In this work, we construct the first high-quality legal parallel corpus containing aligned text units in English and nine Indian languages, that includes several low-resource languages. We also benchmark the performance of a wide variety of Machine Translation (MT) systems over this corpus, including commercial MT systems, open-source MT systems and Large Language Models. Through a comprehensive survey by Law practitioners, we check how satisfied they are with the translations by some of these MT systems, and how well automatic MT evaluation metrics agree with the opinions of Law practitioners.

arxiv情報

著者 Sayan Mahapatra,Debtanu Datta,Shubham Soni,Adrijit Goswami,Saptarshi Ghosh
発行日 2024-11-07 13:56:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL パーマリンク