A novel approach to measuring patent claim scope based on probabilities obtained from (large) language models

要約

この研究は、特許請求の範囲を、この請求の範囲に含まれる自己情報の逆数として測定することを提案しています。
言語モデルからクレームの発生確率を取得し、この確率を利用して自己情報を計算する。
情報理論に基づいたこのアプローチは、ありそうもない概念が、より驚くべきものである限り、通常の概念よりも有益であるという前提に基づいています。
同様に、請求項を定義するために必要な情報が驚くべきものであるほど、その範囲は狭くなります。
最も単純なモデル (各単語または文字に同一の確率が割り当てられる) から中間モデル (単語または文字の平均頻度を使用)、大規模言語モデル (GPT2) まで、5 つの言語モデルが考慮されます。
興味深いことに、最も単純な言語モデルから得られる範囲は、クレームに含まれる単語または文字の数の逆数に比例し、これは以前の研究ですでに使用されている指標です。
個別の発明を対象とする複数の一連の特許請求項に適用され、各シリーズは範囲が徐々に減少するように考案された請求項で構成されます。
言語モデルのパフォーマンスは、いくつかのアドホック テストに関して評価されます。
モデルが洗練されるほど、より良い結果が得られます。
つまり、GPT2 確率モデルは、単語や文字の頻度に基づくモデルよりも優れており、それ自体が単語や文字数に基づく最も単純なモデルよりも優れています。
それでも、文字数は単語数よりも信頼できる指標であるようです。

要約(オリジナル)

This work proposes to measure the scope of a patent claim as the reciprocal of the self-information contained in this claim. A probability of occurrence of the claim is obtained from a language model and this probability is used to compute the self-information. Grounded in information theory, this approach is based on the assumption that an unlikely concept is more informative than a usual concept, insofar as it is more surprising. In turn, the more surprising the information required to defined the claim, the narrower its scope. Five language models are considered, ranging from simplest models (each word or character is assigned an identical probability) to intermediate models (using average word or character frequencies), to a large language model (GPT2). Interestingly, the scope resulting from the simplest language models is proportional to the reciprocal of the number of words or characters involved in the claim, a metric already used in previous works. Application is made to multiple series of patent claims directed to distinct inventions, where each series consists of claims devised to have a gradually decreasing scope. The performance of the language models is assessed with respect to several ad hoc tests. The more sophisticated the model, the better the results. I.e., the GPT2 probability model outperforms models based on word and character frequencies, which themselves outdo the simplest models based on word or character counts. Still, the character count appears to be a more reliable indicator than the word count.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google