Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck

要約

トレーニング データが限られている実際のシナリオでは、データ内の多くの予測信号は、むしろデータ取得のバイアスに起因する可能性があり (つまり、一般化の可能性が低い)、モデルがそのような (いわゆる) に共適応することを防ぐことはできません。
ショートカットの信号: これにより、さまざまな分布シフトでモデルが壊れやすくなります。
このような失敗モードを回避するために、相互情報制約の下で敵対的脅威モデルを検討し、トレーニングでより広いクラスの摂動をカバーします。
これにより、標準的な情報のボトルネックを拡張して、迷惑な情報を追加でモデル化することができます。
目的を実装するためのオートエンコーダーベースのトレーニングと、畳み込みベースとトランスフォーマーベースのアーキテクチャーの両方に関する提案されたハイブリッド識別生成トレーニングを容易にする実用的なエンコーダー設計を提案します。
私たちの実験結果は、提案されたスキームが、複数の困難な信頼性尺度に関して、学習された表現のロバスト性を向上させることを示しています (ドメイン固有の知識をまったく使用せずに著しく)。
たとえば、私たちのモデルは、AUROC でノベルティ検出における最近の挑戦的な OBJECTS ベンチマークの最先端を $78.4\% \rightarrow 87.2\%$ 進めることができ、同時に、改善された破損、バックグラウンド、および (認定された) 敵対的堅牢性を享受できます。
.
コードは https://github.com/jh-jeong/nuisance_ib で入手できます。

要約(オリジナル)

In practical scenarios where training data is limited, many predictive signals in the data can be rather from some biases in data acquisition (i.e., less generalizable), so that one cannot prevent a model from co-adapting on such (so-called) ‘shortcut’ signals: this makes the model fragile in various distribution shifts. To bypass such failure modes, we consider an adversarial threat model under a mutual information constraint to cover a wider class of perturbations in training. This motivates us to extend the standard information bottleneck to additionally model the nuisance information. We propose an autoencoder-based training to implement the objective, as well as practical encoder designs to facilitate the proposed hybrid discriminative-generative training concerning both convolutional- and Transformer-based architectures. Our experimental results show that the proposed scheme improves robustness of learned representations (remarkably without using any domain-specific knowledge), with respect to multiple challenging reliability measures. For example, our model could advance the state-of-the-art on a recent challenging OBJECTS benchmark in novelty detection by $78.4\% \rightarrow 87.2\%$ in AUROC, while simultaneously enjoying improved corruption, background and (certified) adversarial robustness. Code is available at https://github.com/jh-jeong/nuisance_ib.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google