Deep Rotation Correction without Angle Prior

要約

タイトル：角度事前条件なしでの深い回転補正。

要約：
– 本論文では、撮影時のチルトがある状況で、回転補正という新しいタスクを提案する。
– このタスクは、回転角度が不明な場合でも、高いコンテンツの信頼性を持つ、自動的にチルトを補正することができる。
– これは画像編集アプリケーションに容易に統合でき、手動操作なしで回転した画像を修正することができる。
– たとえ大きな角度がある傾いた画像でも、我々のアルゴリズムは、角度事前条件がなくても、高精度な補正が可能であることが実験によって証明されている。
– このタスクの評価基準と学習フレームワークを確立するために、回転補正の包括的なデータセットが提供されている。
– ピクセル単位のオプティカルフローの推定が不安定であるため、我々は単一の画像から回転角度を推定するために、シンプルで効果的な予測戦略を提案している。
– 我々は、最初に変形メッシュを回帰させて、強靭性のある初期オプティカルフローに変換する。その後、残差オプティカルフローを推定して、ピクセル単位の変形の柔軟性を促進し、傾いた画像の詳細をさらに補正するためにいくつかの戦略を提案している。

要約(オリジナル)

Not everybody can be equipped with professional photography skills and sufficient shooting time, and there can be some tilts in the captured images occasionally. In this paper, we propose a new and practical task, named Rotation Correction, to automatically correct the tilt with high content fidelity in the condition that the rotated angle is unknown. This task can be easily integrated into image editing applications, allowing users to correct the rotated images without any manual operations. To this end, we leverage a neural network to predict the optical flows that can warp the tilted images to be perceptually horizontal. Nevertheless, the pixel-wise optical flow estimation from a single image is severely unstable, especially in large-angle tilted images. To enhance its robustness, we propose a simple but effective prediction strategy to form a robust elastic warp. Particularly, we first regress the mesh deformation that can be transformed into robust initial optical flows. Then we estimate residual optical flows to facilitate our network the flexibility of pixel-wise deformation, further correcting the details of the tilted images. To establish an evaluation benchmark and train the learning framework, a comprehensive rotation correction dataset is presented with a large diversity in scenes and rotated angles. Extensive experiments demonstrate that even in the absence of the angle prior, our algorithm can outperform other state-of-the-art solutions requiring this prior. The code and dataset are available at https://github.com/nie-lang/RotationCorrection.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI