LexTime: A Benchmark for Temporal Ordering of Legal Events

要約

法的テキストの時間的推論は、判例法の分析やコンプライアンス監視などのアプリケーションにとって重要です。
ただし、既存のデータセットには専門家の言語評価があり、LLMSが法的文脈でイベントの注文を管理する方法を理解する際にギャップが残ります。
LLMSのイベント注文機能を法的言語で評価するために設計された最初のデータセットであるLextimeを紹介します。
私たちの調査結果は、（1）LLMが物語よりも法的イベントの注文により正確であることを示しています（最大 +10.5％）。
（2）より長い入力コンテキストと暗黙的なイベントは精度を高め、暗黙的に描写されたイベントペアで80.8％に達します。
（3）法的言語の複雑さとネストされた条項は依然として課題です。
コンテキストの長さ、明示的なイベントペア、および法的言語の特徴がモデルのパフォーマンスにどのように影響し、時間的イベント推論を強化するための特定のモデリング戦略が必要であることを示すことを調査します。

要約(オリジナル)

Temporal reasoning in legal texts is important for applications like case law analysis and compliance monitoring. However, existing datasets lack expert language evaluation, leaving a gap in understanding how LLMs manage event ordering in legal contexts. We introduce LexTime, the first dataset designed to evaluate LLMs’ event ordering capabilities in legal language, consisting of 512 instances from U.S. Federal Complaints with annotated event pairs and their temporal relations. Our findings show that (1) LLMs are more accurate on legal event ordering than on narrative (up to +10.5%); (2) longer input contexts and implicit events boost accuracy, reaching 80.8% for implicit-explicit event pairs; (3) legal linguistic complexities and nested clauses remain a challenge. We investigate how context length, explicit vs implicit event pairs, and legal language features affect model performance, demonstrating the need for specific modeling strategies to enhance temporal event reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google