Dual Decomposition of Convex Optimization Layers for Consistent Attention in Medical Images

要約

機械学習モデルを医療に応用する際の重要な問題は、その推論を解釈する能力である。一般的な説明可能手法は、自然画像認識において満足のいく結果を示しているが、医療画像解析においては、これらの手法の多くは部分的でノイズの多い説明を提供している。最近、注意のメカニズムが、その予測性能と解釈可能性の両方において説得力のある結果を示している。注意の基本的な特性は、モデルの予測に貢献する入力の顕著な部分を活用することである。このため、我々の研究は、注意の重み分布の説明的価値に焦点を当てている。我々は、凸最適化を用いて、有人畳み込み層間の一貫した解釈を強制する多層アテンション機構を提案する。我々は双対性を適用し、注意の確率分布を再パラメータ化することで層間の整合性制約を分解する。さらに、目的に対して最適化することで二重証人を学習することを提案する。したがって、我々の実装は標準的なバックプロパゲーションを用いており、非常に効率的である。提案手法は、予測性能を維持しながら、弱いアノテーションの医用画像データを活用し、モデルの予測に対して完全で忠実な説明を提供する。

要約(オリジナル)

A key concern in integrating machine learning models in medicine is the ability to interpret their reasoning. Popular explainability methods have demonstrated satisfactory results in natural image recognition, yet in medical image analysis, many of these approaches provide partial and noisy explanations. Recently, attention mechanisms have shown compelling results both in their predictive performance and in their interpretable qualities. A fundamental trait of attention is that it leverages salient parts of the input which contribute to the model’s prediction. To this end, our work focuses on the explanatory value of attention weight distributions. We propose a multi-layer attention mechanism that enforces consistent interpretations between attended convolutional layers using convex optimization. We apply duality to decompose the consistency constraints between the layers by reparameterizing their attention probability distributions. We further suggest learning the dual witness by optimizing with respect to our objective; thus, our implementation uses standard back-propagation, hence it is highly efficient. While preserving predictive performance, our proposed method leverages weakly annotated medical imaging data and provides complete and faithful explanations to the model’s prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL