InSaAF: Incorporating Safety through Accuracy and Fairness | Are LLMs ready for the Indian Legal Domain?

要約

言語技術と人工知能の最近の進歩により、判決の予測から要約の生成に至るまで、法律分野のさまざまなタスクを実行するための多数の言語モデルが提案されています。
これらのモデルは、その計り知れない可能性にもかかわらず、社会的偏見を学習して示し、不公平な予測を行うことが証明されています。
この研究では、社会的要因が関係するインドの環境において法的タスクを実行する大規模言語モデル (LLM) の能力を調査します。
私たちは、LLM の公平性と正確性の両方の側面をカプセル化した新しい指標、$\beta$ 加重 $\textit{法的安全性スコア ($LSS_{\beta}$)}$ を提示します。
私たちは、$\textit{二項法定推論}$ タスクにおける LLM のパフォーマンスと、インド社会のさまざまな格差軸に関する公平性を考慮して、LLM の安全性を評価します。
LLaMA および LLaMA–2 モデルのタスク パフォーマンスと公平性スコアは、提案された $LSS_{\beta}$ メトリクスが法律分野でモデルが安全に使用できるかどうかを効果的に判断できることを示しています。
また、偏見を軽減し、モデルの安全性を向上させるための潜在的な方法として、特殊な法的データセットを利用したパイプラインの微調整も提案します。
LLaMA および LLaMA–2 モデルの微調整手順により $LSS_{\beta}$ が増加し、インドの法的領域での使いやすさが向上しました。
私たちのコードは公開されています。

要約(オリジナル)

Recent advancements in language technology and Artificial Intelligence have resulted in numerous Language Models being proposed to perform various tasks in the legal domain ranging from predicting judgments to generating summaries. Despite their immense potential, these models have been proven to learn and exhibit societal biases and make unfair predictions. In this study, we explore the ability of Large Language Models (LLMs) to perform legal tasks in the Indian landscape when social factors are involved. We present a novel metric, $\beta$-weighted $\textit{Legal Safety Score ($LSS_{\beta}$)}$, which encapsulates both the fairness and accuracy aspects of the LLM. We assess LLMs’ safety by considering its performance in the $\textit{Binary Statutory Reasoning}$ task and its fairness exhibition with respect to various axes of disparities in the Indian society. Task performance and fairness scores of LLaMA and LLaMA–2 models indicate that the proposed $LSS_{\beta}$ metric can effectively determine the readiness of a model for safe usage in the legal sector. We also propose finetuning pipelines, utilising specialised legal datasets, as a potential method to mitigate bias and improve model safety. The finetuning procedures on LLaMA and LLaMA–2 models increase the $LSS_{\beta}$, improving their usability in the Indian legal domain. Our code is publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google