The need for a more human-centered approach to designing and validating transparent AI in medical image analysis — Guidelines and Evidence from a Systematic Review

要約

Transparency in Machine Learning (ML) は、複雑なモデルの動作メカニズムを明らかにしようとします。
トランスペアレント ML は、ターゲット ユーザーにおける人間中心の AI のヒューマン ファクター エンジニアリングの目標を前進させることを約束します。
人間中心の設計の観点からすると、透明性は ML モデルのプロパティではなく、アフォーダンス、つまりアルゴリズムとユーザーの関係です。
その結果、透明性を提供する適切なソリューションを実現するには、反復的なプロトタイピングとユーザーによる評価が不可欠です。
ただし、ヘルスケアおよび医用画像解析で人間中心の設計原則に従うことは、エンド ユーザーの可用性とアクセスが限られているため困難です。
医用画像解析におけるトランスペアレント ML の状態を調査するために、文献のシステマティック レビューを実施しました。
私たちのレビューでは、医用画像分析アプリケーション向けの透明な ML の設計と検証における複数の深刻な欠点が明らかになりました。
これまでのほとんどの研究では、タスクのパフォーマンスと同様に、モデル自体のプロパティとして透明性にアプローチしており、開発時も評価時もエンド ユーザーを考慮していません。
さらに、ユーザー調査の欠如と、透明性の主張の散発的な検証により、医用画像分析のための透明な ML に関する最新の研究は、ユーザーにとって理解不能であり、したがって臨床的に無関係であるというリスクにさらされています。
ヘルスケアにおける人間中心設計の課題を認識しながら、今後の研究でこれらの欠点を軽減するために、医用画像解析における透明な ML システムの体系的な設計指令である INTRPRT ガイドラインを導入します。
INTRPRT ガイドラインは、ユーザーのニーズとドメインの要件を理解するための透過的なモデル設計の最初のステップとして、形成的なユーザー調査を提案しています。
このプロセスに従うことで、設計の選択を裏付ける証拠が得られ、最終的には、アルゴリズムが透過性を提供する可能性が高まります。

要約(オリジナル)

Transparency in Machine Learning (ML), attempts to reveal the working mechanisms of complex models. Transparent ML promises to advance human factors engineering goals of human-centered AI in the target users. From a human-centered design perspective, transparency is not a property of the ML model but an affordance, i.e. a relationship between algorithm and user; as a result, iterative prototyping and evaluation with users is critical to attaining adequate solutions that afford transparency. However, following human-centered design principles in healthcare and medical image analysis is challenging due to the limited availability of and access to end users. To investigate the state of transparent ML in medical image analysis, we conducted a systematic review of the literature. Our review reveals multiple severe shortcomings in the design and validation of transparent ML for medical image analysis applications. We find that most studies to date approach transparency as a property of the model itself, similar to task performance, without considering end users during neither development nor evaluation. Additionally, the lack of user research, and the sporadic validation of transparency claims put contemporary research on transparent ML for medical image analysis at risk of being incomprehensible to users, and thus, clinically irrelevant. To alleviate these shortcomings in forthcoming research while acknowledging the challenges of human-centered design in healthcare, we introduce the INTRPRT guideline, a systematic design directive for transparent ML systems in medical image analysis. The INTRPRT guideline suggests formative user research as the first step of transparent model design to understand user needs and domain requirements. Following this process produces evidence to support design choices, and ultimately, increases the likelihood that the algorithms afford transparency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google