Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents

要約

データのラベル付けはテキスト分類器をトレーニングするために不可欠ですが、特に複雑で抽象的な概念の場合、正確に実行するのが難しいことがよくあります。
改善された方法を求めて、この論文では、生成言語モデル (GPT-4) を使用した新しいアプローチを採用して、大規模なテキスト分析のためのラベルと理論的根拠を生成します。
私たちはこのアプローチを、米国の AI 特許における公的価値表現を発見するタスクに適用します。
当社は、InnovationQ+ に送信された高度なブール クエリを使用して、154,934 件の特許文書で構成されるデータベースを収集します。
結果は USPTO の特許全文と結合され、540 万文になります。
私たちは、これらの AI 特許文における公的価値表現を特定し、ラベルを付けるためのフレームワークを設計します。
テキスト分類の定義、ガイドライン、例、理論的根拠を含む GPT-4 のプロンプトが開発されています。
BLEU スコアとトピック モデリングを使用して、GPT-4 によって生成されたラベルと理論的根拠の品質を評価し、それらが正確、多様、忠実であることを確認しました。
これらの理論的根拠は、モデルの思考の連鎖、人間による検証のための透明なメカニズム、および人間のアノテーターが認知の限界を克服するためのサポートとしても機能します。
GPT-4 は私たちのフレームワークから公共価値理論の高いレベルの認識を達成しており、これはまだ目に見えない公共価値表現を発見するためにも使用されていると結論付けています。
GPT-4 によって生成されたラベルを使用して BERT ベースの分類器をトレーニングし、データベース全体の文を予測し、3 クラス分類 (0.85) および 2 クラス分類 (0.91) タスクで高い F1 スコアを達成しました。
私たちは、複雑で抽象的な概念を含む大規模なテキスト分析を実行するためのアプローチの意味について議論し、慎重なフレームワーク設計とインタラクティブな人間の監視により、生成言語モデルは品質の点で大きな利点をもたらし、ラベル作成の時間とコストを削減できることを提案します。
そして根拠。

要約(オリジナル)

Labeling data is essential for training text classifiers but is often difficult to accomplish accurately, especially for complex and abstract concepts. Seeking an improved method, this paper employs a novel approach using a generative language model (GPT-4) to produce labels and rationales for large-scale text analysis. We apply this approach to the task of discovering public value expressions in US AI patents. We collect a database comprising 154,934 patent documents using an advanced Boolean query submitted to InnovationQ+. The results are merged with full patent text from the USPTO, resulting in 5.4 million sentences. We design a framework for identifying and labeling public value expressions in these AI patent sentences. A prompt for GPT-4 is developed which includes definitions, guidelines, examples, and rationales for text classification. We evaluate the quality of the labels and rationales produced by GPT-4 using BLEU scores and topic modeling and find that they are accurate, diverse, and faithful. These rationales also serve as a chain-of-thought for the model, a transparent mechanism for human verification, and support for human annotators to overcome cognitive limitations. We conclude that GPT-4 achieved a high-level of recognition of public value theory from our framework, which it also uses to discover unseen public value expressions. We use the labels produced by GPT-4 to train BERT-based classifiers and predict sentences on the entire database, achieving high F1 scores for the 3-class (0.85) and 2-class classification (0.91) tasks. We discuss the implications of our approach for conducting large-scale text analyses with complex and abstract concepts and suggest that, with careful framework design and interactive human oversight, generative language models can offer significant advantages in quality and in reduced time and costs for producing labels and rationales.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google