How well can large language models explain business processes?

要約

大規模言語モデル (LLM) は、システム ライフサイクルのすべての段階にわたって機能を提供する、将来の AI 拡張ビジネス プロセス管理システム (ABPMS) において重要な役割を果たす可能性があります。
このようなシステムの機能の 1 つは、Situation-Aware eXplainability (SAX) です。これは、説明された状態が発生したプロセスのコンテキストを考慮した、因果関係があり、かつ人間が解釈可能な説明を生成することに関連しています。
このペーパーでは、SAX の説明を生成するために開発された SAX4BPM フレームワークを紹介します。
SAX4BPM スイートは、一連のサービスと中央ナレッジ リポジトリで構成されています。
これらのサービスの機能は、SAX の説明の基礎となるさまざまな知識要素を引き出すことです。
これらの要素の中で重要な革新的なコンポーネントは、因果プロセス実行ビューです。
この作業では、SAX の説明を改善するために、フレームワークを LLM と統合して、その機能を活用してさまざまな入力成分を合成します。
SAX に対する LLM の使用には、幻覚傾向や固有の推論能力の欠如とともに、SAX を適切に実行する能力に関連するある程度の疑念も伴うため、生成された説明の品質の方法論的評価を追求しました。
。
この目的のために、当社は指定された規模を開発し、厳格なユーザー調査を実施しました。
私たちの調査結果は、LLM に提示された入力がそのパフォーマンスのガードレールを支援し、より忠実に認識される SAX 説明をもたらしたことを示しています。
この改善は、信頼と好奇心の認識によって緩和されます。
さらに言えば、この改善には、説明の解釈可能性が犠牲になっています。

要約(オリジナル)

Large Language Models (LLMs) are likely to play a prominent role in future AI-augmented business process management systems (ABPMSs) catering functionalities across all system lifecycle stages. One such system’s functionality is Situation-Aware eXplainability (SAX), which relates to generating causally sound and yet human-interpretable explanations that take into account the process context in which the explained condition occurred. In this paper, we present the SAX4BPM framework developed to generate SAX explanations. The SAX4BPM suite consists of a set of services and a central knowledge repository. The functionality of these services is to elicit the various knowledge ingredients that underlie SAX explanations. A key innovative component among these ingredients is the causal process execution view. In this work, we integrate the framework with an LLM to leverage its power to synthesize the various input ingredients for the sake of improved SAX explanations. Since the use of LLMs for SAX is also accompanied by a certain degree of doubt related to its capacity to adequately fulfill SAX along with its tendency for hallucination and lack of inherent capacity to reason, we pursued a methodological evaluation of the quality of the generated explanations. To this aim, we developed a designated scale and conducted a rigorous user study. Our findings show that the input presented to the LLMs aided with the guard-railing of its performance, yielding SAX explanations having better-perceived fidelity. This improvement is moderated by the perception of trust and curiosity. More so, this improvement comes at the cost of the perceived interpretability of the explanation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google