ALUM: Adversarial Data Uncertainty Modeling from Latent Model Uncertainty Compensation

要約

モデルが精度だけでなく、予測の確実性にも注意を払うことが重要です。
ノイズの多いデータによって引き起こされる深いモデルの不確かな予測は、信頼できる AI 分野で重大な懸念を引き起こします。
固有のデータ ノイズによる不確実性を調査して処理するために、統一されたスキームでモデルの不確実性とデータの不確実性を同時に処理する ALUM と呼ばれる新しい方法を提案します。
ランダムに選択されたトレーニング データに基づいてディープ モデルの最終層でデータの不確実性のみをモデル化するのではなく、マイニングされた敵対的トリプレットを調査して、データの不確実性モデリングとノンパラメトリックな不確実性推定を促進し、トレーニングが不十分な潜在モデル層を補うことを提案します。
したがって、ノイズの多いデータによって引き起こされる重要なデータの不確実性とモデルの不確実性は、モデルの堅牢性を向上させるために容易に定量化できます。
私たちが提案する ALUM はモデルにとらわれず、追加の計算オーバーヘッドをほとんど必要とせずに、既存の深いモデルに簡単に実装できます。
さまざまなノイズの多い学習タスクに関する広範な実験により、この方法の優れたロバスト性と一般化能力が検証されます。
コードは https://github.com/wwzjer/ALUM で公開されています。

要約(オリジナル)

It is critical that the models pay attention not only to accuracy but also to the certainty of prediction. Uncertain predictions of deep models caused by noisy data raise significant concerns in trustworthy AI areas. To explore and handle uncertainty due to intrinsic data noise, we propose a novel method called ALUM to simultaneously handle the model uncertainty and data uncertainty in a unified scheme. Rather than solely modeling data uncertainty in the ultimate layer of a deep model based on randomly selected training data, we propose to explore mined adversarial triplets to facilitate data uncertainty modeling and non-parametric uncertainty estimations to compensate for the insufficiently trained latent model layers. Thus, the critical data uncertainty and model uncertainty caused by noisy data can be readily quantified for improving model robustness. Our proposed ALUM is model-agnostic which can be easily implemented into any existing deep model with little extra computation overhead. Extensive experiments on various noisy learning tasks validate the superior robustness and generalization ability of our method. The code is released at https://github.com/wwzjer/ALUM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google