STB-VMM: Swin Transformer Based Video Motion Magnification

要約

ビデオ モーション拡大技術の目標は、ビデオ内の小さな動きを拡大して、以前は見えなかった、または見えなかった動きを明らかにすることです。
その用途は、生物医学アプリケーションやディープ フェイク検出から、構造モーダル分析や予知保全にまで及びます。
ただし、ノイズから小さな動きを識別するのは複雑な作業です。特に、非常に微妙なサブピクセルの動きを拡大しようとする場合は特にそうです。
その結果、モーション拡大技術は一般に、ノイズが多くぼやけた出力に悩まされます。
この作品は、Swin Transformer に基づく新しい最先端のモデルを提示します。これは、ノイズの多い入力に対してより優れた耐性を提供するだけでなく、従来技術よりもノイズ、ぼやけ、アーティファクトが少ない高品質の出力を提供します。
出力画質の向上により、拡大されたビデオ シーケンスに依存するアプリケーションのより正確な測定が可能になり、新しい技術分野でのビデオ モーション拡大技術のさらなる開発が可能になる可能性があります。

要約(オリジナル)

The goal of video motion magnification techniques is to magnify small motions in a video to reveal previously invisible or unseen movement. Its uses extend from bio-medical applications and deep fake detection to structural modal analysis and predictive maintenance. However, discerning small motion from noise is a complex task, especially when attempting to magnify very subtle often sub-pixel movement. As a result, motion magnification techniques generally suffer from noisy and blurry outputs. This work presents a new state-of-the-art model based on the Swin Transformer, which offers better tolerance to noisy inputs as well as higher-quality outputs that exhibit less noise, blurriness and artifacts than prior-art. Improvements in output image quality will enable more precise measurements for any application reliant on magnified video sequences, and may enable further development of video motion magnification techniques in new technical fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google