Patent-CR: A Dataset for Patent Claim Revision

要約

本論文では、特許クレーム修正タスクのために作成された初の英語データセットであるPatent-CRを紹介する。このデータセットには、特許審査官によって却下された最初の特許出願と、最終的に許可された特許出願の両方が含まれている。文法修正や首尾一貫性の改善など、文章の質を高めることに主眼を置く通常の文章校正タスクとは異なり、特許クレーム校正は、クレームが厳格な法的基準を満たしていることを確認することを目的としている。これらの基準には、新規性や進歩性だけでなく、範囲の明確性、技術的正確性、言語的正確性、法的堅牢性などが含まれます。我々は、サイズやアーキテクチャの異なる一般的なLLM、テキスト修正モデル、ドメイン固有モデルなど、様々な大規模言語モデル（LLM）を専門家による評価を通じて評価した。その結果、LLMはしばしば目標修正から逸脱した効果的でない編集をもたらすことが示された。また、ドメイン固有モデルとファインチューニング法は有望な結果を示した。特に、GPT-4は他のLLMよりも優れているが、審査基準に達するにはさらなる修正が必要である。さらに、自動評価結果と人間による評価結果の間に矛盾があることを示し、GPT-4に基づく自動評価が人間の判断と最も高い相関があることを示唆した。このデータセットは、我々の予備的な実証研究とともに、特許クレーム改訂のさらなる探求のための貴重な洞察を提供するものである。

要約(オリジナル)

This paper presents Patent-CR, the first dataset created for the patent claim revision task in English. It includes both initial patent applications rejected by patent examiners and the final granted versions. Unlike normal text revision tasks that predominantly focus on enhancing sentence quality, such as grammar correction and coherence improvement, patent claim revision aims at ensuring the claims meet stringent legal criteria. These criteria are beyond novelty and inventiveness, including clarity of scope, technical accuracy, language precision, and legal robustness. We assess various large language models (LLMs) through professional human evaluation, including general LLMs with different sizes and architectures, text revision models, and domain-specific models. Our results indicate that LLMs often bring ineffective edits that deviate from the target revisions. In addition, domain-specific models and the method of fine-tuning show promising results. Notably, GPT-4 outperforms other tested LLMs, but further revisions are still necessary to reach the examination standard. Furthermore, we demonstrate the inconsistency between automated and human evaluation results, suggesting that GPT-4-based automated evaluation has the highest correlation with human judgment. This dataset, along with our preliminary empirical research, offers invaluable insights for further exploration in patent claim revision.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL