Local-Global Temporal Difference Learning for Satellite Video Super-Resolution

要約

タイトル：衛星映像のスーパーレゾリューションに対する局所的・全体的時間差分学習

要約：

– 衛星映像のスーパーレゾリューションにおいて、オプティカルフローベースとカーネルベースの手法が広く探求されている。しかし、これらの手法は高い計算消費量を伴い、複雑な動きのもとで失敗しやすい。
– 本論文では、効率的かつ頑健な時間補償のために、よく定義された時間差分を利用することを提案している。フレーム間の残差マップから局所的なモーション表現を抽出するために、短期的な時差分モジュールが設計された。これによって、正確なテクスチャ表現を得るためのより多くの手がかりが提供される。一方、長期的な時差を学習することで、フレームシーケンス全体のグローバルな依存関係を探索することができる。前向きと後ろ向きのセグメント間の差分を組み合わせ、時間特徴を調整することで、総合的なグローバル補償が実現される。
– また、差分補償ユニットを提案し、ターゲットフレームと補償結果の空間分布との相互作用を豊かにし、空間的な一貫性を維持しつつ、特徴を修正して誤認を避けることができる。
– 5つの主流な衛星映像の客観的・主観的評価において、提案手法が優れた性能を発揮することを示した。コードは以下から入手可能です：\url{https://github.com/XY-boy/TDMVSR}

要約(オリジナル)

Optical-flow-based and kernel-based approaches have been widely explored for temporal compensation in satellite video super-resolution (VSR). However, these techniques involve high computational consumption and are prone to fail under complex motions. In this paper, we proposed to exploit the well-defined temporal difference for efficient and robust temporal compensation. To fully utilize the temporal information within frames, we separately modeled the short-term and long-term temporal discrepancy since they provide distinctive complementary properties. Specifically, a short-term temporal difference module is designed to extract local motion representations from residual maps between adjacent frames, which provides more clues for accurate texture representation. Meanwhile, the global dependency in the entire frame sequence is explored via long-term difference learning. The differences between forward and backward segments are incorporated and activated to modulate the temporal feature, resulting in holistic global compensation. Besides, we further proposed a difference compensation unit to enrich the interaction between the spatial distribution of the target frame and compensated results, which helps maintain spatial consistency while refining the features to avoid misalignment. Extensive objective and subjective evaluation of five mainstream satellite videos demonstrates that the proposed method performs favorably for satellite VSR. Code will be available at \url{https://github.com/XY-boy/TDMVSR}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI