A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models

要約

過去 10 年間にわたり、テキストによるプロセス記述から情報を抽出することに大規模な研究努力が注がれてきました。
自然言語処理 (NLP) は目覚ましい進歩を遂げていますが、ビジネス プロセス管理ドメイン内の情報抽出は依然としてルールベースのシステムと機械学習手法に主に依存しています。
これまでのところ、データ不足によりディープラーニング技術の適用が成功していません。
ただし、生成大規模言語モデル (LLM) の急速な進歩により、大量のデータを必要とせずに、多くの NLP タスクを非常に高品質で解決できるようになりました。
したがって、私たちは、アクティビティやアクターなどのプロセス要素とそれらの間の関係の検出をターゲットとして、テキストによるプロセス記述から情報を抽出するための LLM の可能性を体系的に調査します。
ヒューリスティック アルゴリズムを使用して、抽出された情報がプロセス モデル生成に適していることを実証します。
新しいプロンプト戦略に基づいて、LLM が 3 つの異なるデータセット全体で最大 8\% $F_1$ スコアの絶対的なパフォーマンス向上により、最先端の機械学習アプローチを上回るパフォーマンスを発揮できることを示します。
私たちは、プロンプト戦略を 8 つの異なる LLM で評価し、それが普遍的に適用できることを示すとともに、抽出品質に対する特定のプロンプト部分の影響も分析します。
抽出された情報の精度を向上させるための鍵として、テキスト例の数、定義の具体性、形式指示の厳密さが特定されています。
コード、プロンプト、データは公開されています。

要約(オリジナル)

Over the past decade, extensive research efforts have been dedicated to the extraction of information from textual process descriptions. Despite the remarkable progress witnessed in natural language processing (NLP), information extraction within the Business Process Management domain remains predominantly reliant on rule-based systems and machine learning methodologies. Data scarcity has so far prevented the successful application of deep learning techniques. However, the rapid progress in generative large language models (LLMs) makes it possible to solve many NLP tasks with very high quality without the need for extensive data. Therefore, we systematically investigate the potential of LLMs for extracting information from textual process descriptions, targeting the detection of process elements such as activities and actors, and relations between them. Using a heuristic algorithm, we demonstrate the suitability of the extracted information for process model generation. Based on a novel prompting strategy, we show that LLMs are able to outperform state-of-the-art machine learning approaches with absolute performance improvements of up to 8\% $F_1$ score across three different datasets. We evaluate our prompting strategy on eight different LLMs, showing it is universally applicable, while also analyzing the impact of certain prompt parts on extraction quality. The number of example texts, the specificity of definitions, and the rigour of format instructions are identified as key for improving the accuracy of extracted information. Our code, prompts, and data are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google