要約
この論文では、SemEval タスク 5、民事訴訟チャレンジにおける法的議論推論タスク用のシステムを紹介します。
法的議論の推論は、すべての法学生が習得しなければならない必須のスキルです。
さらに、ドメイン固有の簡潔なコンテキスト情報が与えられた場合に、質問について推論できる自然言語処理ソリューションを開発することが重要です。
私たちのシステムは、GPT4 を使用して法的議論を推論するプロンプトベースのソリューションを探索します。
また、思考連鎖推論や文脈内学習など、一連の刺激戦略も評価します。
全体として、私たちのシステムのマクロ F1 は、検証データセットでは .8095、最終テスト セットでは .7315 (21 チーム中 5 位) という結果になりました。
このプロジェクトのコードは、https://github.com/danschumac1/CivilPromptReasoningGPT4 で入手できます。
要約(オリジナル)
In this paper, we present our system for the SemEval Task 5, The Legal Argument Reasoning Task in Civil Procedure Challenge. Legal argument reasoning is an essential skill that all law students must master. Moreover, it is important to develop natural language processing solutions that can reason about a question given terse domain-specific contextual information. Our system explores a prompt-based solution using GPT4 to reason over legal arguments. We also evaluate an ensemble of prompting strategies, including chain-of-thought reasoning and in-context learning. Overall, our system results in a Macro F1 of .8095 on the validation dataset and .7315 (5th out of 21 teams) on the final test set. Code for this project is available at https://github.com/danschumac1/CivilPromptReasoningGPT4.
arxiv情報
| 著者 | Dan Schumacher,Anthony Rios |
| 発行日 | 2024-04-02 13:55:05+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google