On the Fly Neural Style Smoothing for Risk-Averse Domain Generalization

要約

トレーニング中に表示されないドメインからのデータで高精度を達成することは、ドメイン汎化 (DG) における基本的な課題です。
最先端の DG 分類器は、さまざまなタスクにわたって優れたパフォーマンスを示していますが、画像コンテンツなどのドメインに依存しない情報ではなく、画像スタイルなどのドメインに依存する情報に偏りがあることが示されています。
この偏りにより、誤分類が壊滅的な結果につながる可能性がある自動運転などのリスクに敏感なシナリオでの導入の信頼性が低くなります。
DG 分類器からのリスク回避予測を可能にするために、テスト時の予測に DG 分類器の「スタイル平滑化」バージョンを使用する新しい推論手順であるテスト時ニューラル スタイル スムージング (TT-NSS) を提案します。
具体的には、スタイル平滑化分類器は、テスト画像のランダムな再スタイル化で DG 分類器によって予測された最も可能性の高いクラスとしてテスト画像を分類します。
TT-NSS は、ニューラル スタイル転送モジュールを使用してテスト画像をオンザフライでスタイル化し、DG 分類器へのブラック ボックス アクセスのみを必要とし、重要なことに、スタイル化されたテスト画像に対する DG 分類器の予測にコンセンサスが欠けている場合には回避します。
さらに、既存の DG 手法とシームレスに統合できるニューラル スタイル スムージング (NSS) ベースのトレーニング手順を提案します。
この手順により予測の一貫性が向上し、非棄権サンプルに対する TT-NSS のパフォーマンスが向上します。
私たちの実証結果は、さまざまなベンチマーク データセットとそのバリエーションで SOTA トレーニング手法でトレーニングされた DG 分類器から、目に見えないドメインでのリスク回避予測を生成および改善する際の TT-NSS と NSS の有効性を示しています。

要約(オリジナル)

Achieving high accuracy on data from domains unseen during training is a fundamental challenge in domain generalization (DG). While state-of-the-art DG classifiers have demonstrated impressive performance across various tasks, they have shown a bias towards domain-dependent information, such as image styles, rather than domain-invariant information, such as image content. This bias renders them unreliable for deployment in risk-sensitive scenarios such as autonomous driving where a misclassification could lead to catastrophic consequences. To enable risk-averse predictions from a DG classifier, we propose a novel inference procedure, Test-Time Neural Style Smoothing (TT-NSS), that uses a ‘style-smoothed’ version of the DG classifier for prediction at test time. Specifically, the style-smoothed classifier classifies a test image as the most probable class predicted by the DG classifier on random re-stylizations of the test image. TT-NSS uses a neural style transfer module to stylize a test image on the fly, requires only black-box access to the DG classifier, and crucially, abstains when predictions of the DG classifier on the stylized test images lack consensus. Additionally, we propose a neural style smoothing (NSS) based training procedure that can be seamlessly integrated with existing DG methods. This procedure enhances prediction consistency, improving the performance of TT-NSS on non-abstained samples. Our empirical results demonstrate the effectiveness of TT-NSS and NSS at producing and improving risk-averse predictions on unseen domains from DG classifiers trained with SOTA training methods on various benchmark datasets and their variations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google