Rapid Network Adaptation: Learning to Adapt Neural Networks Using Test-Time Feedback

要約

テスト時の分布の変化にニューラルネットワークを適応させる方法を提案します。
変化を予測してそれに対抗しようとするトレーニング時の堅牢性メカニズムとは対照的に、閉ループ システムを作成し、テスト時のフィードバック信号を利用してネットワークをオンザフライで適応させます。
このループは、ネットワークの償却オプティマイザーを実現する学習ベースの関数を使用して効果的に実装できることを示します。
これにより、Rapid Network Adaptation (RNA) と呼ばれる、ベースラインよりもはるかに柔軟で桁違いに高速な適応方法が実現します。
さまざまな適応信号とターゲットタスクを使用した幅広い実験を通じて、この方法の効率と柔軟性を研究します。
さまざまなデータセット (Taskonomy、Replica、ScanNet、Hypersim、COCO、ImageNet)、タスク (深度、オプティカル フロー、セマンティック セグメンテーション、分類)、および分布シフト (クロス データセット、2D および 3D の一般的な破損) を使用して評価を実行します。
結果。
最後に、分布シフトを処理するための一般的な定式化と、他のドメインの同様のアプローチとの比較から得た観察について説明します。

要約(オリジナル)

We propose a method for adapting neural networks to distribution shifts at test-time. In contrast to training-time robustness mechanisms that attempt to anticipate and counter the shift, we create a closed-loop system and make use of a test-time feedback signal to adapt a network on the fly. We show that this loop can be effectively implemented using a learning-based function, which realizes an amortized optimizer for the network. This leads to an adaptation method, named Rapid Network Adaptation (RNA), that is notably more flexible and orders of magnitude faster than the baselines. Through a broad set of experiments using various adaptation signals and target tasks, we study the efficiency and flexibility of this method. We perform the evaluations using various datasets (Taskonomy, Replica, ScanNet, Hypersim, COCO, ImageNet), tasks (depth, optical flow, semantic segmentation, classification), and distribution shifts (Cross-datasets, 2D and 3D Common Corruptions) with promising results. We end with a discussion on general formulations for handling distribution shifts and our observations from comparing with similar approaches from other domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google