Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks

要約

プロセス マイニング コミュニティは最近、さまざまなプロセス マイニング タスクに取り組むための大規模言語モデル (LLM) の可能性を認識しました。
初期の研究では、LLM がプロセス分析をサポートする能力があり、プロセスがどのように機能するかをある程度推論できることさえ報告されています。
この後者の特性は、LLM がプロセス動作の理解から恩恵を受けるプロセス マイニング タスクに取り組むためにも使用できることを示唆しています。
このようなタスクの例には、(意味論的な) 異常検出や次のアクティビティの予測が含まれます。これらのタスクには、両方ともアクティビティの意味と相互関係の考慮が含まれます。
このペーパーでは、このようなセマンティクスを意識したプロセス マイニング タスクに取り組む LLM の機能を調査します。
さらに、LLM とプロセス マイニングの交差点に関するほとんどの研究は、これらのモデルをすぐにテストすることだけに焦点を当てていますが、私たちは、プロセス マイニングの知識を事後的に取得する機能など、プロセス マイニングにおける LLM の有用性についてのより原則的な調査を提供します。
コンテキスト内学習と教師付き微調整によって。
具体的には、プロセス セマンティクスの理解から恩恵を受ける 3 つのプロセス マイニング タスクを定義し、それぞれに広範なベンチマーク データセットを提供します。
私たちの評価実験により、(1) LLM は、そのままでは困難なプロセス マイニング タスクを解決できず、コンテキスト内で少数の例しか提供されない場合、(2) しかし、これらのタスクに合わせて微調整すると強力なパフォーマンスを発揮し、一貫してそれを上回ることが明らかになりました。
より小さなエンコーダベースの言語モデル。

要約(オリジナル)

The process mining community has recently recognized the potential of large language models (LLMs) for tackling various process mining tasks. Initial studies report the capability of LLMs to support process analysis and even, to some extent, that they are able to reason about how processes work. This latter property suggests that LLMs could also be used to tackle process mining tasks that benefit from an understanding of process behavior. Examples of such tasks include (semantic) anomaly detection and next activity prediction, which both involve considerations of the meaning of activities and their inter-relations. In this paper, we investigate the capabilities of LLMs to tackle such semantics-aware process mining tasks. Furthermore, whereas most works on the intersection of LLMs and process mining only focus on testing these models out of the box, we provide a more principled investigation of the utility of LLMs for process mining, including their ability to obtain process mining knowledge post-hoc by means of in-context learning and supervised fine-tuning. Concretely, we define three process mining tasks that benefit from an understanding of process semantics and provide extensive benchmarking datasets for each of them. Our evaluation experiments reveal that (1) LLMs fail to solve challenging process mining tasks out of the box and when provided only a handful of in-context examples, (2) but they yield strong performance when fine-tuned for these tasks, consistently surpassing smaller, encoder-based language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google