Exploring the Requirements of Clinicians for Explainable AI Decision Support Systems in Intensive Care

要約

特に人工知能 (AI) モデルがますます複雑になり、人間が解釈できなくなるにつれて、デジタル システムが臨床上の意思決定をどのようにサポートできるかを理解する必要性が高まっています。
この複雑さは信頼性に関する懸念を引き起こし、そのようなテクノロジーの安全かつ効果的な導入に影響を与えます。
意思決定プロセスと意思決定支援ツールによる説明の要件についての理解を向上させることは、効果的な説明可能なソリューションを提供する上で重要な要素です。
これは、集中治療室 (ICU) のデータ集約的でペースの速い環境に特に関係します。
これらの問題を調査するために、さまざまな役割と経験レベルを代表する 7 人の ICU 臨床医に対してグループ インタビューが実施されました。
テーマ分析により、3 つの核となるテーマが明らかになりました。(T1) ICU の意思決定は幅広い要因に依存している、(T2) 患者の状態の複雑さは共有された意思決定にとって困難、(T3) AI 意思決定支援システムの要件と機能
。
臨床情報からの設計に関する推奨事項が含まれており、将来の集中治療用 AI システムに情報を提供するための洞察が提供されます。

要約(オリジナル)

There is a growing need to understand how digital systems can support clinical decision-making, particularly as artificial intelligence (AI) models become increasingly complex and less human-interpretable. This complexity raises concerns about trustworthiness, impacting safe and effective adoption of such technologies. Improved understanding of decision-making processes and requirements for explanations coming from decision support tools is a vital component in providing effective explainable solutions. This is particularly relevant in the data-intensive, fast-paced environments of intensive care units (ICUs). To explore these issues, group interviews were conducted with seven ICU clinicians, representing various roles and experience levels. Thematic analysis revealed three core themes: (T1) ICU decision-making relies on a wide range of factors, (T2) the complexity of patient state is challenging for shared decision-making, and (T3) requirements and capabilities of AI decision support systems. We include design recommendations from clinical input, providing insights to inform future AI systems for intensive care.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google