Correct and Certify: A New Approach to Self-Supervised 3D-Object Perception

要約

オブジェクトのポーズ推定とモデルフィッティングの問題を検討します。ここで、オブジェクトの部分的な点群が与えられた場合、目標はCADモデルをセンサーデータにフィッティングすることによってオブジェクトのポーズを推定することです。
この問題は、（i）セマンティックキーポイントベースのポーズ推定モデル、（ii）新しい自己監視トレーニングアプローチ、および（iii）モデルによって生成された出力が正しいかどうかを検証するだけでなく、認証手順を組み合わせることによって解決されます。
かどうかだけでなく、生成されたソリューションの一意性にもフラグを立てます。
セマンティックキーポイント検出器モデルは、最初はシミュレーションでトレーニングされており、ドメインギャップのために実際のデータではうまく機能しません。
私たちの自己管理トレーニング手順では、検出器を改善するために修正者と認定モジュールを使用します。
修正モジュールは、検出されたキーポイントを修正してドメインギャップを補正し、宣言型レイヤーとして実装されます。このために、単純な微分ルールを作成します。
認証モジュールは、モデルによって生成された修正された出力が認証可能（つまり正しい）であるかどうかを宣言します。
各反復で、このアプローチは、認証可能な入出力ペアによってのみ引き起こされる損失を最適化します。
トレーニングが進むにつれて、認証可能な出力の割合が増加し、多くの場合、最終的に$ 100 \％$近くに達することがわかります。
また、モデルが予測されたオブジェクトモデルの適合が一意であるかどうかを判断できる、強力な認証可能性の概念を紹介します。
検出されたセマンティックキーポイントは、フォワードパスでこれを実装するのに役立ちます。
ShapeNetおよびYCBデータセットを使用して、修正者、認定、および提案された自己監視トレーニングのパフォーマンスを評価するための広範な実験を実施し、提案されたアプローチが、実際のポーズやキーポイントの監視を必要とせずに、完全に監視されたベースラインに匹敵するパフォーマンスを達成することを示します
データ。

要約(オリジナル)

We consider an object pose estimation and model fitting problem, where – given a partial point cloud of an object – the goal is to estimate the object pose by fitting a CAD model to the sensor data. We solve this problem by combining (i) a semantic keypoint-based pose estimation model, (ii) a novel self-supervised training approach, and (iii) a certification procedure, that not only verifies whether the output produced by the model is correct or not, but also flags uniqueness of the produced solution. The semantic keypoint detector model is initially trained in simulation and does not perform well on real-data due to the domain gap. Our self-supervised training procedure uses a corrector and a certification module to improve the detector. The corrector module corrects the detected keypoints to compensate for the domain gap, and is implemented as a declarative layer, for which we develop a simple differentiation rule. The certification module declares whether the corrected output produced by the model is certifiable (i.e. correct) or not. At each iteration, the approach optimizes over the loss induced only by the certifiable input-output pairs. As training progresses, we see that the fraction of outputs that are certifiable increases, eventually reaching near $100\%$ in many cases. We also introduce the notion of strong certifiability wherein the model can determine if the predicted object model fit is unique or not. The detected semantic keypoints help us implement this in the forward pass. We conduct extensive experiments to evaluate the performance of the corrector, the certification, and the proposed self-supervised training using the ShapeNet and YCB datasets, and show the proposed approach achieves performance comparable to fully supervised baselines while not requiring pose or keypoint supervision on real data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google