3D-Augmented Contrastive Knowledge Distillation for Image-based Object Pose Estimation

要約

実際のアプリケーションでは、オブジェクトの形状が利用できない場合や、写真のように簡単に撮影できない場合が多いため、画像ベースのオブジェクトポーズ推定は驚くべきものに聞こえます。
ある程度の利点はありますが、3D視覚学習問題の未踏の形状情報は「翡翠の欠陥」のように見えます。
このホワイトペーパーでは、合理的な新しい設定で問題に対処します。つまり、トレーニングプロセスで3D形状が利用され、テストは依然として純粋に画像ベースです。
マルチモーダル手法で学習した3D知識を活用することで、カテゴリにとらわれないオブジェクトポーズ推定のための画像ベースの手法のパフォーマンスを向上させます。
具体的には、3D拡張画像表現をマルチモーダルモデルから画像ベースのモデルに効果的に転送する、新しい対照的な知識蒸留フレームワークを提案します。
対照学習を知識蒸留の2段階のトレーニング手順に統合します。これにより、クロスモーダルタスクのためのこれら2つのアプローチを組み合わせる高度なソリューションが策定されます。
既存のカテゴリにとらわれない画像ベースの方法と比較した最新の結果を大幅に報告し（ObjectNet3Dデータセットで最大+ 5％の改善）、この方法の有効性を示しています。

要約(オリジナル)

Image-based object pose estimation sounds amazing because in real applications the shape of object is oftentimes not available or not easy to take like photos. Although it is an advantage to some extent, un-explored shape information in 3D vision learning problem looks like ‘flaws in jade’. In this paper, we deal with the problem in a reasonable new setting, namely 3D shape is exploited in the training process, and the testing is still purely image-based. We enhance the performance of image-based methods for category-agnostic object pose estimation by exploiting 3D knowledge learned by a multi-modal method. Specifically, we propose a novel contrastive knowledge distillation framework that effectively transfers 3D-augmented image representation from a multi-modal model to an image-based model. We integrate contrastive learning into the two-stage training procedure of knowledge distillation, which formulates an advanced solution to combine these two approaches for cross-modal tasks. We experimentally report state-of-the-art results compared with existing category-agnostic image-based methods by a large margin (up to +5% improvement on ObjectNet3D dataset), demonstrating the effectiveness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google