FedJudge: Federated Legal Large Language Model

要約

大規模言語モデル (LLM) はリーガル インテリジェンスの分野で注目を集めており、法律専門家や素人を支援する潜在的な応用例を提供しています。
ただし、法的データは機密の個人情報を含むさまざまな機関に分散されるため、これらの法務 LLM の集中トレーニングではデータ プライバシーの懸念が生じます。
このペーパーでは、法律 LLM と Federated Learning (FL) 方法論の統合を検討することで、この課題に対処します。
FL を採用することで、Legal LLM はデバイスまたはクライアント上でローカルに微調整でき、そのパラメータは中央サーバーに集約されて分散されるため、生データを直接共有することなくデータ プライバシーが確保されます。
ただし、計算と通信のオーバーヘッドにより、FL 設定での LLM の完全な微調整が妨げられます。
さらに、法的データの流通の変化により、FL 手法の有効性が低下します。
この目的を達成するために、この論文では、Legal LLM を効率的かつ効果的に微調整する最初の Federated Legal Large Language Model (FedJudge) フレームワークを提案します。
具体的には、FedJudge はパラメーター効率の高い微調整方法を利用して、FL トレーニング中にいくつかの追加パラメーターのみを更新します。
さらに、データシフトの問題を軽減するためにローカルクライアントをトレーニングする際に、グローバルモデルの重要なパラメーターを保存するための継続的な学習方法を探索します。
3 つの現実世界のデータセットに関する広範な実験結果により、FedJudge の有効性が明確に検証されています。
コードは https://github.com/yuelinan/FedJudge で公開されています。

要約(オリジナル)

Large Language Models (LLMs) have gained prominence in the field of Legal Intelligence, offering potential applications in assisting legal professionals and laymen. However, the centralized training of these Legal LLMs raises data privacy concerns, as legal data is distributed among various institutions containing sensitive individual information. This paper addresses this challenge by exploring the integration of Legal LLMs with Federated Learning (FL) methodologies. By employing FL, Legal LLMs can be fine-tuned locally on devices or clients, and their parameters are aggregated and distributed on a central server, ensuring data privacy without directly sharing raw data. However, computation and communication overheads hinder the full fine-tuning of LLMs under the FL setting. Moreover, the distribution shift of legal data reduces the effectiveness of FL methods. To this end, in this paper, we propose the first Federated Legal Large Language Model (FedJudge) framework, which fine-tunes Legal LLMs efficiently and effectively. Specifically, FedJudge utilizes parameter-efficient fine-tuning methods to update only a few additional parameters during the FL training. Besides, we explore the continual learning methods to preserve the global model’s important parameters when training local clients to mitigate the problem of data shifts. Extensive experimental results on three real-world datasets clearly validate the effectiveness of FedJudge. Code is released at https://github.com/yuelinan/FedJudge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google