InterNet: Unsupervised Cross-modal Homography Estimation Based on Interleaved Modality Transfer and Self-supervised Homography Prediction

要約

我々は、インターリーブモダリティ転送と自己教師付きホモグラフィー予測に基づいた、新しい教師なしクロスモーダルホモグラフィー推定フレームワークを提案します。これは、InterNet と呼ばれます。
インターネットはモダリティ転送と自己監視型ホモグラフィー推定を統合し、両方のコンポーネントを交互に促進する革新的なインターリーブ最適化フレームワークを導入しています。
モダリティの転送によりモダリティのギャップが徐々に狭まり、合成モーダル内データを最大限に活用する自己教師ありホモグラフィー推定が容易になります。
自己教師付きホモグラフィー推定により、信頼性の高い予測が徐々に達成され、それによってモダリティ転送に対する堅牢なクロスモーダル監視が提供されます。
推定精度をさらに向上させるために、2 つのコンポーネント間の接続を改善するために、きめの細かいホモグラフィー特徴損失も定式化します。
さらに、シンプルかつ効果的な蒸留トレーニング手法を採用して、同等のパフォーマンスを維持しながらモデルのパラメーターを削減し、クロスドメイン汎化能力を向上させます。
実験の結果、InterNet は教師なしメソッドの中で最先端 (SOTA) のパフォーマンスを達成し、MHN や LocalTrans などの多くの教師ありメソッドをも上回るパフォーマンスを示していることが明らかになりました。

要約(オリジナル)

We propose a novel unsupervised cross-modal homography estimation framework, based on interleaved modality transfer and self-supervised homography prediction, named InterNet. InterNet integrates modality transfer and self-supervised homography estimation, introducing an innovative interleaved optimization framework to alternately promote both components. The modality transfer gradually narrows the modality gaps, facilitating the self-supervised homography estimation to fully leverage the synthetic intra-modal data. The self-supervised homography estimation progressively achieves reliable predictions, thereby providing robust cross-modal supervision for the modality transfer. To further boost the estimation accuracy, we also formulate a fine-grained homography feature loss to improve the connection between two components. Furthermore, we employ a simple yet effective distillation training technique to reduce model parameters and improve cross-domain generalization ability while maintaining comparable performance. Experiments reveal that InterNet achieves the state-of-the-art (SOTA) performance among unsupervised methods, and even outperforms many supervised methods such as MHN and LocalTrans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google