Conversational Process Model Redesign

要約

大規模な言語モデル（LLMS）の最近の成功により、Ai-Augmented Business Process Management Systemsのアイデアはより実現可能になりつつあります。
それらの本質的な特徴の1つは、会話的に実行可能になる能力であり、人間がLLMと効果的に相互作用して、プロセスモデルの設計や再設計などの重要なプロセスライフサイクルタスクを実行できるようにすることです。
ただし、現在の研究では、ユーザーとLLM間の継続的な相互作用ではなく、結果の単一プロンプトの実行と評価に焦点を当てています。
この作業では、LLMSを使用してプロセスモデルの作成と再設計のドメイン専門家に反復的かつ効果的な方法で力を与える可能性を調査することを目指しています。
提案された会話プロセスモデルの再設計（CPD）アプローチは、自然言語でユーザーによる入力Aプロセスモデルと再設計要求として受信します。
LLMに変更を加えるだけでなく、LLMは（a）文献からプロセス変更パターンを識別するために使用されます。
このマルチステップアプローチにより、説明可能で再現可能な変更が可能になります。
CPDアプローチの実現可能性を確保し、LLMが文献からのパターンをどの程度うまく処理できるかを調べるために、広範な評価を実行しました。
結果は、いくつかのパターンがLLMやユーザーが理解するのが難しいことを示しています。
調査の範囲内で、ユーザーは変更を明確に説明するためにサポートが必要であることを実証しました。
全体として、評価は、LLMSが一連の完全性と正確性基準に従ってほとんどの変更を適切に処理できることを示しています。

要約(オリジナル)

With the recent success of large language models (LLMs), the idea of AI-augmented Business Process Management systems is becoming more feasible. One of their essential characteristics is the ability to be conversationally actionable, allowing humans to interact with the LLM effectively to perform crucial process life cycle tasks such as process model design and redesign. However, most current research focuses on single-prompt execution and evaluation of results, rather than on continuous interaction between the user and the LLM. In this work, we aim to explore the feasibility of using LLMs to empower domain experts in the creation and redesign of process models in an iterative and effective way. The proposed conversational process model redesign (CPD) approach receives as input a process model and a redesign request by the user in natural language. Instead of just letting the LLM make changes, the LLM is employed to (a) identify process change patterns from literature, (b) re-phrase the change request to be aligned with an expected wording for the identified pattern (i.e., the meaning), and then to (c) apply the meaning of the change to the process model. This multi-step approach allows for explainable and reproducible changes. In order to ensure the feasibility of the CPD approach, and to find out how well the patterns from literature can be handled by the LLM, we performed an extensive evaluation. The results show that some patterns are hard to understand by LLMs and by users. Within the scope of the study, we demonstrated that users need support to describe the changes clearly. Overall the evaluation shows that the LLMs can handle most changes well according to a set of completeness and correctness criteria.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google