Framer: Interactive Frame Interpolation

要約

私たちはインタラクティブなフレーム補間のための Framer を提案します。これは、ユーザーの創造性に従って 2 つの画像間でスムーズに遷移するフレームを生成することを目的としています。
具体的には、開始フレームと終了フレームを入力として取得することに加えて、私たちのアプローチは、選択されたいくつかのキーポイントの軌道を調整することによって移行プロセスのカスタマイズをサポートします。
このような設計には 2 つの明らかな利点があります。
まず、人間の対話を組み込むことで、ある画像を別の画像に変換するさまざまな可能性から生じる問題が軽減され、その結果、ローカル モーションをより細かく制御できるようになります。
次に、インタラクションの最も基本的な形式として、キーポイントはフレーム間の対応関係を確立するのに役立ち、困難なケース (開始フレームと終了フレームのオブジェクトの形状やスタイルが異なるなど) を処理できるようにモデルを強化します。
私たちのシステムが「オートパイロット」モードも提供していることは注目に値します。このモードでは、実際の使用を簡素化するために、キーポイントを推定し、軌道を自動的に調整するモジュールを導入しています。
広範な実験結果により、画像モーフィング、タイムラプス ビデオ生成、漫画補間などのさまざまなアプリケーションにおける Framer の魅力的なパフォーマンスが実証されています。コード、モデル、インターフェイスは、さらなる研究を促進するためにリリースされる予定です。

要約(オリジナル)

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an ‘autopilot’ mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google