TTT-UCDR: Test-time Training for Universal Cross-Domain Retrieval

要約

画像検索は、クエリを使用してデータベース内の類似の画像を見つけることを目的としたコンピューター ビジョンのニッチな問題です。
この作業では、文献で初めて、Universal Cross-Domain Retrieval (UCDR) の下での分布シフトに適応するためのテスト時間トレーニング手法を採用しています。
テスト時間トレーニングは、画像分類、ドメイン適応、セマンティック セグメンテーション、およびゼロ ショット スケッチ ベースの画像検索 (ZS-SBIR) の一般化エラーを減らすことが以前に示されています。
UCDR では、ZS-SBIR に存在する未知のカテゴリのセマンティック シフトに加えて、未知のドメインの存在により、さらに大きな分布シフトが発生します。
このドメイン ギャップを埋めるために、3 つの異なる損失 (Barlow Twins、Jigsaw Puzzle、RotNet) による自己監視を、テスト時に事前トレーニング済みのネットワークで使用します。
この単純なアプローチは、UCDR ベンチマークの改善につながり、挑戦的なクロスデータセットの一般化設定の下でモデルの堅牢性も向上させます。

要約(オリジナル)

Image retrieval is a niche problem in computer vision curated towards finding similar images in a database using a query. In this work, for the first time in literature, we employ test-time training techniques for adapting to distribution shifts under Universal Cross-Domain Retrieval (UCDR). Test-time training has previously been shown to reduce generalization error for image classification, domain adaptation, semantic segmentation, and zero-shot sketch-based image retrieval (ZS-SBIR). In UCDR, in addition to the semantic shift of unknown categories present in ZS-SBIR, the presence of unknown domains leads to even higher distribution shifts. To bridge this domain gap, we use self-supervision through 3 different losses – Barlow Twins, Jigsaw Puzzle and RotNet on a pretrained network at test-time. This simple approach leads to improvements on UCDR benchmarks and also improves model robustness under a challenging cross-dataset generalization setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google