Concept-level Debugging of Part-Prototype Networks

要約

部分プロトタイプ ネットワーク (ProtoPNets) は、透明性を損なうことなくブラック ボックス モデルと同じパフォーマンスを実現するように設計された概念ベースの分類器です。
ProtoPNets は、トレーニング例の一部を認識するために学習したクラス固有の部分プロトタイプとの類似性に基づいて予測を計算し、どの例がターゲット予測の原因であるか、またその理由を忠実に判断することを容易にします。
ただし、他のモデルと同様に、データから交絡因子やショートカットを取得する傾向があるため、予測精度が低下し、一般化が制限されます。
ProtoPDebug は、ProtoPNet 用の効果的な概念レベルのデバッガーであり、モデルの説明に導かれた人間のスーパーバイザーが、どの部分のプロトタイプを忘れたり保持したりしなければならないかという形でフィードバックを提供します。
この監修。
私たちの実験的評価では、ProtoPDebug が最先端のデバッガーよりもわずかなアノテーション コストで優れていることが示されています。
素人を対象としたオンライン実験では、ユーザーに要求されたフィードバックの単純さと、交絡因子のない部分プロトタイプを学習するための収集されたフィードバックの有効性が確認されました。
ProtoPDebug は、医療上の意思決定タスクに関する予備評価で示唆されているように、重要なアプリケーションでの信頼できるインタラクティブな学習のための有望なツールです。

要約(オリジナル)

Part-prototype Networks (ProtoPNets) are concept-based classifiers designed to achieve the same performance as black-box models without compromising transparency. ProtoPNets compute predictions based on similarity to class-specific part-prototypes learned to recognize parts of training examples, making it easy to faithfully determine what examples are responsible for any target prediction and why. However, like other models, they are prone to picking up confounders and shortcuts from the data, thus suffering from compromised prediction accuracy and limited generalization. We propose ProtoPDebug, an effective concept-level debugger for ProtoPNets in which a human supervisor, guided by the model’s explanations, supplies feedback in the form of what part-prototypes must be forgotten or kept, and the model is fine-tuned to align with this supervision. Our experimental evaluation shows that ProtoPDebug outperforms state-of-the-art debuggers for a fraction of the annotation cost. An online experiment with laypeople confirms the simplicity of the feedback requested to the users and the effectiveness of the collected feedback for learning confounder-free part-prototypes. ProtoPDebug is a promising tool for trustworthy interactive learning in critical applications, as suggested by a preliminary evaluation on a medical decision making task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google