Test-time Training for Data-efficient UCDR

要約

【タイトル】データ効率の良いUCDRのテスト時トレーニング

【要約】汎用的なテストシナリオ下での画像検索は、文献で大きく取り上げられており、最近提案されたUniversal Cross-domain Retrievalのプロトコルは、この方向性において先駆者となっています。そのような一般化された分類または検索アルゴリズムにおける一般的な実践は、データのドメイン不変表現を学習するために多くのドメインからのサンプルをトレーニングに利用することです。しかし、そのような基準は制限的であるため、本研究では初めて、データ効率の良い方法で一般化された検索問題を探求しました。具体的には、自己教師あり学習技術を活用してテストデータにモデルを適応し、モデルを未知のクエリドメイン/カテゴリに汎化することを目的としています。このために、RotNet、JigSaw、Barlow Twinsなどのさまざまな自己教師あり損失関数を探求し、それらの効果を分析しました。詳細な実験により、提案されたアプローチはシンプルで実装が容易であり、データ効率の良いUCDRを処理するのに効果的であることが示されました。

【要点】
– 汎用的なテストシナリオ下での画像検索は重要
– 多くのドメインからのサンプルをトレーニングに利用するのは、制限的
– データ効率の良い方法で一般化された検索問題を探求
– テストデータにモデルを適応して未知のクエリドメイン/カテゴリに汎化することを目的とする
– 自己教師あり学習技術を活用
– RotNet、JigSaw、Barlow Twinsなどの自己教師あり損失関数を探求
– 提案されたアプローチはシンプルで実装が容易
– データ効率の良いUCDRを処理するのに効果的

要約(オリジナル)

Image retrieval under generalized test scenarios has gained significant momentum in literature, and the recently proposed protocol of Universal Cross-domain Retrieval is a pioneer in this direction. A common practice in any such generalized classification or retrieval algorithm is to exploit samples from many domains during training to learn a domain-invariant representation of data. Such criterion is often restrictive, and thus in this work, for the first time, we explore the generalized retrieval problem in a data-efficient manner. Specifically, we aim to generalize any pre-trained cross-domain retrieval network towards any unknown query domain/category, by means of adapting the model on the test data leveraging self-supervised learning techniques. Toward that goal, we explored different self-supervised loss functions~(for example, RotNet, JigSaw, Barlow Twins, etc.) and analyze their effectiveness for the same. Extensive experiments demonstrate the proposed approach is simple, easy to implement, and effective in handling data-efficient UCDR.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI