要約
自然言語処理 (NLP) の利用がますます増えていることにより、私たちは過去数年にわたって法律文書とのやり取りに大きな変化を目の当たりにし始めました。
このテクノロジーにより分析が進歩し、複雑な法律用語や文脈の理解が深まりました。
最近の大規模言語モデル (LLM)、特に ChatGPT の開発も、法律文書の処理と理解の方法に革命的な貢献をもたらしました。
この論文では、協同組合の法的質問に答えるLLMベースのチャットボットに関する研究を紹介します。そこでは、パレスチナ協同組合に関する一連の法的質問をその規則に関連付けて開発し、チャットボットによって自動生成された回答をその対応内容と比較しました。
法律の専門家によって設計されています。
提案されたチャットボットを評価するために、法律の専門家によって生成された 50 のクエリを使用し、チャートによって生成された回答とその関連性の判断を比較しました。
調査結果では、クエリに回答する際に全体の正解率 82% が達成され、F1 スコアは 79% に相当することが実証されました。
要約(オリジナル)
With the ever-increasing utilization of natural language processing (NLP), we started to witness over the past few years a significant transformation in our interaction with legal texts. This technology has advanced the analysis and enhanced the understanding of complex legal terminology and contexts. The development of recent large language models (LLMs), particularly ChatGPT, has also introduced a revolutionary contribution to the way that legal texts can be processed and comprehended. In this paper, we present our work on a cooperative-legal question-answering LLM-based chatbot, where we developed a set of legal questions about Palestinian cooperatives, associated with their regulations and compared the auto-generated answers by the chatbot to their correspondences that are designed by a legal expert. To evaluate the proposed chatbot, we have used 50 queries generated by the legal expert and compared the answers produced by the chart to their relevance judgments. Finding demonstrated that an overall accuracy rate of 82% has been achieved when answering the queries, while exhibiting an F1 score equivalent to 79%.
arxiv情報
| 著者 | Rabee Qasem,Banan Tantour,Mohammed Maree |
| 発行日 | 2023-06-09 11:57:57+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google