Can Large Language Models Generate High-quality Patent Claims?

要約

大規模言語モデル (LLM) は、さまざまなテキスト生成タスクにわたって優れたパフォーマンスを示していますが、高度に構造化された正確な言語を提供する特許分野ではまだ研究が進んでいません。
この論文では、特許請求の生成における現在の LLM のパフォーマンスを調査するためのデータセットを構築します。
私たちの結果は、特許の説明に基づいてクレームを生成することが、要約に依存した以前の研究よりも優れていることを示しています。
興味深いことに、現在の特許固有の LLM のパフォーマンスは、最先端の一般的な LLM よりもはるかに悪く、ドメイン内 LLM に関する将来の研究の必要性が強調されています。
また、LLM は高品質の最初の独立クレームを生成できるものの、後続の従属クレームではそのパフォーマンスが著しく低下することもわかりました。
さらに、微調整により、発明の機能の完全性、概​​念的な明瞭さ、および機能の連携を強化できます。
テストされた LLM の中で、GPT-4 は、より優れた機能範囲、概念的な明瞭さ、および技術的一貫性により、特許専門家による包括的な人間による評価において最高のパフォーマンスを示しました。
これらの機能にもかかわらず、厳格な特許審査に合格し、法的堅牢性を確保するには、依然として包括的な改訂と修正が必要です。

要約(オリジナル)

Large language models (LLMs) have shown exceptional performance across various text generation tasks but remain under-explored in the patent domain, which offers highly structured and precise language. This paper constructs a dataset to investigate the performance of current LLMs in patent claim generation. Our results demonstrate that generating claims based on patent descriptions outperforms previous research relying on abstracts. Interestingly, current patent-specific LLMs perform much worse than state-of-the-art general LLMs, highlighting the necessity for future research on in-domain LLMs. We also find that LLMs can produce high-quality first independent claims, but their performances markedly decrease for subsequent dependent claims. Moreover, fine-tuning can enhance the completeness of inventions’ features, conceptual clarity, and feature linkage. Among the tested LLMs, GPT-4 demonstrates the best performance in comprehensive human evaluations by patent experts, with better feature coverage, conceptual clarity, and technical coherence. Despite these capabilities, comprehensive revision and modification are still necessary to pass rigorous patent scrutiny and ensure legal robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google