要約
この論文では、インド最高裁判所の判例文書、インド憲法、インド刑法のみに基づいた言語モデルである PARAMANU-AYN を紹介します。
新しい自動回帰 (AR) デコーダ ベースのモデルは、コンテキスト サイズ 8192 で最初から事前トレーニングされています。私たちは、事前トレーニングされた法的モデルを複雑さのメトリクスで評価しました。
また、法的な推論、判決の説明、法的条項の作成、法的な起草、法的な契約の草案、事件の要約、憲法上の質疑応答など、さまざまな法的タスクをカバーする 10,763 の命令セットに基づいて事前トレーニング済みモデルを命令調整しました。また、評価も行いました。
GPT-3.5-Turbo による命令調整モデルのプロンプトの応答。明瞭さ、関連性、完全性、法的推論のメトリクスを 10 段階で評価します。私たちのモデルは CPU で実行でき、42.46 トークン/秒の CPU 推論速度を達成しました。
私たちのモデルは、法律書籍、さまざまな法的契約書、法的文書について事前トレーニングされていないにもかかわらず、さまざまな法的契約書や法的条項の起草に必要な領域知識を学習し、限られた範囲で法的契約書や法的条項を起草するために一般化できることがわかりました。
命令のチューニング。
したがって、強力なドメインに特化した生成言語モデル (法律など) の場合、モデルを最初から開発するのに非常に大量のデータは必要ないと結論付けます。
私たちは、この研究が、インド最高裁判所の管轄権または法的 NLP 全体において、専用の生成法言語モデルをゼロから作成する最初の試みであると信じています。
Paramanu-Ayn モデルを https://www.bharatgpts.com でリリースする予定です。
要約(オリジナル)
In this paper, we present PARAMANU-AYN, a language model based exclusively on case documents of the Supreme Court of India, the Constitution of India, and the Indian Penal Code. The novel Auto Regressive (AR) decoder based model is pretrained from scratch at a context size of 8192. We evaluated our pretrained legal model on perplexity metrics. We also instruction-tuned our pretrained model on a set of 10,763 instructions covering various legal tasks such as legal reasoning, judgement explanation, legal clause generation, legal drafting, legal contract drafting, case summarization, constitutional question-answering, etc. We also evaluated the responses of prompts for instruction-tuned models by GPT-3.5-Turbo on clarity, relevance, completeness, and legal reasoning metrics in a scale of 10. Our model can be run on CPU and achieved 42.46 tokens/sec CPU inference speed. We found that our models, despite not being pretrained on legal books, various legal contracts, and legal documents, were able to learn the domain knowledge required for drafting various legal contracts and legal clauses, and generalize to draft legal contracts and legal clauses with limited instruction tuning. Hence, we conclude that for a strong domain-specialized generative language model (such as legal), very large amounts of data are not required to develop models from scratch. We believe that this work is the first attempt to make a dedicated generative legal language model from scratch for Indian Supreme Court jurisdiction or in legal NLP overall. We plan to release our Paramanu-Ayn model at https://www.bharatgpts.com.
arxiv情報
| 著者 | Mitodru Niyogi,Arnab Bhattacharya |
| 発行日 | 2024-03-20 15:39:54+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google