ArabLegalEval: A Multitask Benchmark for Assessing Arabic Legal Knowledge in Large Language Models

要約

大規模言語モデル (LLM) の急速な進歩により、さまざまな自然言語処理タスクが大幅に改善されました。
しかし、LLM の法律知識、特にアラビア語などの非英語言語における法律知識の評価は、依然として十分に研究されていません。
このギャップに対処するために、LLM のアラビア語の法的知識を評価するためのマルチタスク ベンチマーク データセットである、ArabLegalEval を導入します。
MMLU および LegalBench データセットからインスピレーションを得た、ArabLegalEval は、サウジアラビアの法的文書と合成された質問をソースとする複数のタスクで構成されています。
この研究では、アラビア語で法的問題を解決するために必要な機能を分析し、最先端の LLM のパフォーマンスをベンチマークすることを目的としています。
私たちは、文脈に沿った学習の影響を調査し、さまざまな評価方法を調査します。
さらに、データセットの品質を向上させるために、自動検証を使用して質問を生成するワークフローを検討します。
私たちは、GPT-4 や Jais などの多言語 LLM とアラビア語中心の LLM をそれぞれベンチマークします。
また、データセットの作成と検証の方法論も共有します。これは他のドメインにも一般化できます。
私たちは、ArabLegalEval データセットとコードをリリースすることで、アラビアの法律分野における AI 研究を加速したいと考えています: https://github.com/Thiqah/ArabLegalEval

要約(オリジナル)

The rapid advancements in Large Language Models (LLMs) have led to significant improvements in various natural language processing tasks. However, the evaluation of LLMs’ legal knowledge, particularly in non-English languages such as Arabic, remains under-explored. To address this gap, we introduce ArabLegalEval, a multitask benchmark dataset for assessing the Arabic legal knowledge of LLMs. Inspired by the MMLU and LegalBench datasets, ArabLegalEval consists of multiple tasks sourced from Saudi legal documents and synthesized questions. In this work, we aim to analyze the capabilities required to solve legal problems in Arabic and benchmark the performance of state-of-the-art LLMs. We explore the impact of in-context learning and investigate various evaluation methods. Additionally, we explore workflows for generating questions with automatic validation to enhance the dataset’s quality. We benchmark multilingual and Arabic-centric LLMs, such as GPT-4 and Jais, respectively. We also share our methodology for creating the dataset and validation, which can be generalized to other domains. We hope to accelerate AI research in the Arabic Legal domain by releasing the ArabLegalEval dataset and code: https://github.com/Thiqah/ArabLegalEval

arxiv情報

提供元, 利用サービス

arxiv.jp, Google