DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications

要約

いくつかのアプリケーション ドメインでディープ ニューラル ネットワークの展開が成功するとともに、これらのネットワークのブラックボックスの性質を解明する必要性が最近大幅に増加しています。
ディープ ニューラル ネットワークの推論プロセスについての洞察を提供するために、いくつかの方法が導入されています。
しかし、これらの説明可能性手法のほとんどは、画像および一般的なテキスト領域における入力の敵対的な摂動に直面すると脆弱であることが示されています。
この研究では、この現象が生物医学データセットのような特定かつ重要な一か八かの領域にまで及ぶことを示します。
特に、説明の堅牢性は、モデルの入力とその決定を結び付ける際の説明の正確さ (忠実性) と、分野専門家の観点から見たその関連性 (妥当性) の観点から特徴づけられるべきであることがわかりました。
これは、不正確であっても、対象分野のコンテキストでは説得力があるように見える説明を防ぐために非常に重要です。
この目的を達成するために、ドメイン固有の妥当性を考慮に入れるために、現在のアトリビューション ロバストネス推定方法を特定のドメインに適応させる方法を示します。
これにより、DomainAdaptiveAREstimator (DARE) アトリビューション堅牢性推定ツールが得られ、忠実な説明のドメイン固有の堅牢性を適切に特徴付けることができます。
次に、DARE によって特徴付けられる脆弱性を軽減するために、敵対的トレーニングと FAR トレーニングという 2 つの方法を提供し、堅牢な属性を表示するネットワークをトレーニングできるようにします。
最後に、確立された 3 つの生物医学ベンチマークに関する広範な実験により、私たちの方法を経験的に検証します。

要約(オリジナル)

Along with the successful deployment of deep neural networks in several application domains, the need to unravel the black-box nature of these networks has seen a significant increase recently. Several methods have been introduced to provide insight into the inference process of deep neural networks. However, most of these explainability methods have been shown to be brittle in the face of adversarial perturbations of their inputs in the image and generic textual domain. In this work we show that this phenomenon extends to specific and important high stakes domains like biomedical datasets. In particular, we observe that the robustness of explanations should be characterized in terms of the accuracy of the explanation in linking a model’s inputs and its decisions – faithfulness – and its relevance from the perspective of domain experts – plausibility. This is crucial to prevent explanations that are inaccurate but still look convincing in the context of the domain at hand. To this end, we show how to adapt current attribution robustness estimation methods to a given domain, so as to take into account domain-specific plausibility. This results in our DomainAdaptiveAREstimator (DARE) attribution robustness estimator, allowing us to properly characterize the domain-specific robustness of faithful explanations. Next, we provide two methods, adversarial training and FAR training, to mitigate the brittleness characterized by DARE, allowing us to train networks that display robust attributions. Finally, we empirically validate our methods with extensive experiments on three established biomedical benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google