PatentGPT: A Large Language Model for Intellectual Property

要約

近年、大規模言語モデル (LLM) は、多数の自然言語処理タスクにわたって優れたパフォーマンスを発揮するため大きな注目を集めており、さまざまな分野で広く適用されています。
ただし、この分野では専門知識、プライバシー保護、非常に長いテキストの処理が強く必要とされるため、知的財産 (IP) ドメインにおける大規模な言語モデルの適用は困難です。
この技術レポートでは、IP ドメイン固有の要件を満たす、IP 指向 LLM をトレーニングするための低コストの標準化された手順を初めて紹介します。
この標準プロセスを使用して、オープンソースの事前トレーニング済みモデルに基づいて PatentGPT シリーズ モデルをトレーニングしました。
オープンソースの IP 指向ベンチマーク MOZIP で評価すると、当社のドメイン固有 LLM は GPT-4 を上回り、提案されたトレーニング手順の有効性と IP ドメインにおける PatentGPT モデルの専門知識が示されました。
注目すべきことに、私たちのモデルは 2019 年の中国特許代理人資格試験で GPT-4 を上回り、65 点を獲得し、人間の専門家レベルに匹敵しました。
さらに、SMoE アーキテクチャを利用する PatentGPT モデルは、IP ドメインで GPT-4 に匹敵するパフォーマンスを達成し、長文タスクでより優れたコストパフォーマンス比を実証し、潜在的に GPT-4 の代替として機能します。
IPドメイン。

要約(オリジナル)

In recent years, large language models(LLMs) have attracted significant attention due to their exceptional performance across a multitude of natural language process tasks, and have been widely applied in various fields. However, the application of large language models in the Intellectual Property (IP) domain is challenging due to the strong need for specialized knowledge, privacy protection, processing of extremely long text in this field. In this technical report, we present for the first time a low-cost, standardized procedure for training IP-oriented LLMs, meeting the unique requirements of the IP domain. Using this standard process, we have trained the PatentGPT series models based on open-source pretrained models. By evaluating them on the open-source IP-oriented benchmark MOZIP, our domain-specific LLMs outperforms GPT-4, indicating the effectiveness of the proposed training procedure and the expertise of the PatentGPT models in the IP domain. Remarkably, our model surpassed GPT-4 on the 2019 China Patent Agent Qualification Examination, scoring 65 and matching human expert levels. Additionally, the PatentGPT model, which utilizes the SMoE architecture, achieves performance comparable to that of GPT-4 in the IP domain and demonstrates a better cost-performance ratio on long-text tasks, potentially serving as an alternative to GPT-4 within the IP domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google