GyroFlow+: Gyroscope-Guided Unsupervised Deep Homography and Optical Flow Learning

要約

既存のホモグラフィーやオプティカル フローの手法は、明るさや勾配の一定性などの基本的な前提が崩れているため、霧、雨、夜、雪などの難しいシーンでは誤りが生じます。
この問題に対処するために、ジャイロスコープをホモグラフィーとオプティカル フロー学習に融合する教師なし学習アプローチを提案します。
具体的には、まずジャイロスコープの読み取り値をジャイロ フィールドと呼ばれるモーション フィールドに変換します。
次に、ジャイロ フィールドから抽出された背景の動きをオプティカル フローと融合し、動きの詳細に焦点を当てるようにネットワークを誘導する自己誘導融合モジュール (SGF) を設計します。
一方、ジャイロフィールドとSGFの中間結果を組み合わせてホモグラフィーを生成するホモグラフィーデコーダモジュール(HD)を提案します。
私たちの知る限り、これはジャイロスコープ データと画像コンテンツを融合してディープ ホモグラフィーとオプティカル フロー ラーニングの両方を実現する最初のディープ ラーニング フレームワークです。
私たちの方法を検証するために、通常のシーンと困難なシーンをカバーする新しいデータセットを提案します。
実験では、私たちの方法が通常のシーンと困難なシーンの両方で最先端の方法よりも優れていることが示されています。

要約(オリジナル)

Existing homography and optical flow methods are erroneous in challenging scenes, such as fog, rain, night, and snow because the basic assumptions such as brightness and gradient constancy are broken. To address this issue, we present an unsupervised learning approach that fuses gyroscope into homography and optical flow learning. Specifically, we first convert gyroscope readings into motion fields named gyro field. Second, we design a self-guided fusion module (SGF) to fuse the background motion extracted from the gyro field with the optical flow and guide the network to focus on motion details. Meanwhile, we propose a homography decoder module (HD) to combine gyro field and intermediate results of SGF to produce the homography. To the best of our knowledge, this is the first deep learning framework that fuses gyroscope data and image content for both deep homography and optical flow learning. To validate our method, we propose a new dataset that covers regular and challenging scenes. Experiments show that our method outperforms the state-of-the-art methods in both regular and challenging scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google