TeST: Test-time Self-Training under Distribution Shift

要約

最近の成功にもかかわらず、ディープ ニューラル ネットワークは、テスト時に分布の変化に遭遇すると、パフォーマンスが低下し続けます。
最近提案されたアプローチの多くは、推論の前にモデルを新しい分布に合わせることで、これに対抗しようとしています。
利用可能なラベルがないため、観察されたテスト データにモデルを適応させるために、教師なしの目標が必要になります。
このホワイト ペーパーでは、Test-Time Self-Training (TeST) を提案します。これは、テスト時にいくつかのソース データと新しいデータ分布でトレーニングされたモデルを入力として受け取り、学生と教師のフレームワークを使用して不変でロバストな表現を学習する手法です。
.
TeST を使用して適応されたモデルは、ベースラインのテスト時間適応アルゴリズムよりも大幅に改善されることがわかりました。
TeST は、最新のドメイン適応アルゴリズムに匹敵するパフォーマンスを実現しながら、適応時に 5 ～ 10 分の 1 の少ないデータにアクセスできます。
オブジェクト検出と画像セグメンテーションの 2 つのタスクでさまざまなベースラインを徹底的に評価し、モデルが TeST に適合していることを発見しました。
私たちは、TeST がテスト時間ドメイン適応アルゴリズムの新しい最先端技術を設定していることを発見しました。

要約(オリジナル)

Despite their recent success, deep neural networks continue to perform poorly when they encounter distribution shifts at test time. Many recently proposed approaches try to counter this by aligning the model to the new distribution prior to inference. With no labels available this requires unsupervised objectives to adapt the model on the observed test data. In this paper, we propose Test-Time Self-Training (TeST): a technique that takes as input a model trained on some source data and a novel data distribution at test time, and learns invariant and robust representations using a student-teacher framework. We find that models adapted using TeST significantly improve over baseline test-time adaptation algorithms. TeST achieves competitive performance to modern domain adaptation algorithms, while having access to 5-10x less data at time of adaption. We thoroughly evaluate a variety of baselines on two tasks: object detection and image segmentation and find that models adapted with TeST. We find that TeST sets the new state-of-the art for test-time domain adaptation algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google