IL-TUR: Benchmark for Indian Legal Text Understanding and Reasoning

要約

世界中の法制度では、事件や文書が急激に増加しています。
法制度を合理化するために、法的文書を自動的に処理および理解するための NLP および ML 技術を開発することが差し迫った必要性があります。
ただし、法律分野に特化して設計されたさまざまな NLP モデルを評価し、比較することは困難です。
この文書は、IL-TUR: インドの法文の理解と推論のベンチマークを提案することで、この課題に対処します。
IL-TUR には、インドの法的文書の理解と推論の観点から法制度のさまざまな側面に対処する、単言語 (英語、ヒンディー語) および多言語 (インドの 9 言語) のドメイン固有のタスクが含まれています。
各タスクのベースライン モデル (LLM ベースを含む) を提示し、モデルとグラウンド トゥルース間のギャップを概説します。
法的領域におけるさらなる研究を促進するために、研究コミュニティが法的文章理解システムをアップロードして比較できるリーダーボード (https://exploration-lab.github.io/IL-TUR/ で利用可能) を作成しています。

要約(オリジナル)

Legal systems worldwide are inundated with exponential growth in cases and documents. There is an imminent need to develop NLP and ML techniques for automatically processing and understanding legal documents to streamline the legal system. However, evaluating and comparing various NLP models designed specifically for the legal domain is challenging. This paper addresses this challenge by proposing IL-TUR: Benchmark for Indian Legal Text Understanding and Reasoning. IL-TUR contains monolingual (English, Hindi) and multi-lingual (9 Indian languages) domain-specific tasks that address different aspects of the legal system from the point of view of understanding and reasoning over Indian legal documents. We present baseline models (including LLM-based) for each task, outlining the gap between models and the ground truth. To foster further research in the legal domain, we create a leaderboard (available at: https://exploration-lab.github.io/IL-TUR/) where the research community can upload and compare legal text understanding systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google