INV-Flow2PoseNet: Light-Resistant Rigid Object Pose from Optical Flow of RGB-D Images using Images, Normals and Vertices

要約

この論文では、明るさの仮定が強いシェーディングの変化によって違反される困難なシナリオに対して、非常に正確なオプティカル フローと厳密なシーン変換を同時に推定するための新しいアーキテクチャを提示します。
暗闇で車を運転する場合など、回転するオブジェクトや移動する光源の場合、ビューごとにシーンの外観が大きく変化することがよくあります。
残念ながら、オプティカル フローまたはポーズを計算するための標準的な方法は、シーン内のフィーチャの外観がビュー間で一定であるという期待に基づいています。
これらの方法は、調査されたケースで頻繁に失敗する可能性があります。
提示された方法は、画像、頂点、法線データを組み合わせて照明不変のオプティカル フローを計算することにより、テクスチャとジオメトリ情報を融合します。
粗いものから細かいものへの戦略を使用することにより、グローバルに固定されたオプティカル フローが学習され、誤ったシェーディング ベースの疑似対応の影響が軽減されます。
学習したオプティカル フローに基づいて、歪んだ頂点と法線マップから堅牢な剛体変換を予測する 2 つ目のアーキテクチャが提案されます。
このようなシェーディングの変化を引き起こすことが多い、強い回転を伴う状況には特に注意が払われます。
したがって、法線と頂点の間の相関関係を有効に活用する 3 ステップの手順が提案されています。
この方法は、強力な回転とシェーディング効果を持つ合成データと実際のデータの両方を含む、新しく作成されたデータセットで評価されました。
このデータは、オブジェクトが部分的な再構成の間に大きなステップで回転することが多い、3D 再構成の典型的な使用例を表しています。
さらに、よく知られている Kitti Odometry データセットにこの方法を適用します。
明るさの仮定が満たされているために、これがメソッドの典型的なユースケースではない場合でも、標準的な状況への適用性と他のメソッドとの関係が確立されます。

要約(オリジナル)

This paper presents a novel architecture for simultaneous estimation of highly accurate optical flows and rigid scene transformations for difficult scenarios where the brightness assumption is violated by strong shading changes. In the case of rotating objects or moving light sources, such as those encountered for driving cars in the dark, the scene appearance often changes significantly from one view to the next. Unfortunately, standard methods for calculating optical flows or poses are based on the expectation that the appearance of features in the scene remain constant between views. These methods may fail frequently in the investigated cases. The presented method fuses texture and geometry information by combining image, vertex and normal data to compute an illumination-invariant optical flow. By using a coarse-to-fine strategy, globally anchored optical flows are learned, reducing the impact of erroneous shading-based pseudo-correspondences. Based on the learned optical flows, a second architecture is proposed that predicts robust rigid transformations from the warped vertex and normal maps. Particular attention is payed to situations with strong rotations, which often cause such shading changes. Therefore a 3-step procedure is proposed that profitably exploits correlations between the normals and vertices. The method has been evaluated on a newly created dataset containing both synthetic and real data with strong rotations and shading effects. This data represents the typical use case in 3D reconstruction, where the object often rotates in large steps between the partial reconstructions. Additionally, we apply the method to the well-known Kitti Odometry dataset. Even if, due to fulfillment of the brighness assumption, this is not the typical use case of the method, the applicability to standard situations and the relation to other methods is therefore established.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google