Self-supervised Learning to Bring Dual Reversed Rolling Shutter Images Alive

要約

現代の民生用カメラは通常、ローリング シャッター (RS) メカニズムを採用しており、シーンを行ごとにスキャンすることで画像がキャプチャされ、動的なシーンでは RS 歪みが生じます。
RS 歪みを補正するために、既存の方法では完全教師あり学習方式が採用されており、高フレームレートのグローバル シャッター (GS) 画像がグランドトゥルース監視として収集される必要があります。
この論文では、デュアル反転 RS 歪み補正 (SelfDRSC) のための自己教師あり学習フレームワークを提案します。このフレームワークでは、反転歪みを持つデュアル RS 画像にのみ基づいて高フレームレートの GS ビデオを生成するように DRSC ネットワークを学習できます。
特に、二重反転 RS 画像を再構成するために双方向歪みワーピング モジュールが提案され、入力と再構成された二重反転 RS 画像間のサイクルの一貫性を強化することで、自己教師あり損失を DRSC ネットワークのトレーニングに導入できます。
RS スキャンの開始時間と終了時間に加えて、任意の中間スキャン時間での GS 画像も SelfDRSC で監視できるため、学習された DRSC ネットワークが高フレームレートの GS ビデオを生成できます。
さらに、生成された GS 画像の境界アーティファクトを軽減するために、シンプルかつ効果的な自己蒸留戦略が自己教師あり損失に導入されています。
合成データセットでは、SelfDRSC は、完全な監視方式でトレーニングされた最先端の手法と比較して、より優れた、または同等の定量的指標を達成します。
実際の RS ケースでは、当社の SelfDRSC は、より細かい補正テクスチャと優れた一時的一貫性を備えた高フレームレートの GS ビデオを生成できます。
ソース コードとトレーニング済みモデルは、https://github.com/shangwei5/SelfDRSC で公開されています。
HUAWEI Mindspore での実装も https://github.com/Hunter-Will/SelfDRSC-mindspore で提供しています。

要約(オリジナル)

Modern consumer cameras usually employ the rolling shutter (RS) mechanism, where images are captured by scanning scenes row-by-row, yielding RS distortions for dynamic scenes. To correct RS distortions, existing methods adopt a fully supervised learning manner, where high framerate global shutter (GS) images should be collected as ground-truth supervision. In this paper, we propose a Self-supervised learning framework for Dual reversed RS distortions Correction (SelfDRSC), where a DRSC network can be learned to generate a high framerate GS video only based on dual RS images with reversed distortions. In particular, a bidirectional distortion warping module is proposed for reconstructing dual reversed RS images, and then a self-supervised loss can be deployed to train DRSC network by enhancing the cycle consistency between input and reconstructed dual reversed RS images. Besides start and end RS scanning time, GS images at arbitrary intermediate scanning time can also be supervised in SelfDRSC, thus enabling the learned DRSC network to generate a high framerate GS video. Moreover, a simple yet effective self-distillation strategy is introduced in self-supervised loss for mitigating boundary artifacts in generated GS images. On synthetic dataset, SelfDRSC achieves better or comparable quantitative metrics in comparison to state-of-the-art methods trained in the full supervision manner. On real-world RS cases, our SelfDRSC can produce high framerate GS videos with finer correction textures and better temporary consistency. The source code and trained models are made publicly available at https://github.com/shangwei5/SelfDRSC. We also provide an implementation in HUAWEI Mindspore at https://github.com/Hunter-Will/SelfDRSC-mindspore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google