DreamColour: Controllable Video Colour Editing without Training

要約

ビデオのカラー編集はコンテンツ作成にとって重要なタスクですが、既存のソリューションではフレームごとの骨の折れる操作が必要か、時間的なアーティファクトを伴う非現実的な結果が生成されます。
プロ品質の出力を維持しながら、直観的なインターフェイスを通じて正確なビデオ カラー編集にアクセスできる、トレーニング不要の実用的なフレームワークを紹介します。
私たちの重要な洞察は、カラー編集の空間的側面と時間的側面を切り離すことで、ユーザーの自然なワークフローとよりよく調和できるということです。ユーザーは、時間の経過とともに変更を自動的に伝達する前に、キーフレームでの正確なカラー選択に集中できるようになります。
これは、(i) グリッドベースのカラー選択と正確な空間制御のための自動インスタンス セグメンテーションを組み合わせたシンプルなポイント アンド クリック インターフェイス、(ii) 固有のビデオ モーション パターンを活用した双方向カラー伝播、
(iii) 複雑なオブジェクトの動きでもスムーズな移行を保証するモーション認識ブレンディング。
さまざまなシナリオでの広範な評価を通じて、トレーニングや特殊なハードウェアの必要性を排除しながら、私たちのアプローチが最先端の方法と同等またはそれを超えていることを実証し、誰もがプロ品質のビデオカラー編集を利用できるようにします。

要約(オリジナル)

Video colour editing is a crucial task for content creation, yet existing solutions either require painstaking frame-by-frame manipulation or produce unrealistic results with temporal artefacts. We present a practical, training-free framework that makes precise video colour editing accessible through an intuitive interface while maintaining professional-quality output. Our key insight is that by decoupling spatial and temporal aspects of colour editing, we can better align with users’ natural workflow — allowing them to focus on precise colour selection in key frames before automatically propagating changes across time. We achieve this through a novel technical framework that combines: (i) a simple point-and-click interface merging grid-based colour selection with automatic instance segmentation for precise spatial control, (ii) bidirectional colour propagation that leverages inherent video motion patterns, and (iii) motion-aware blending that ensures smooth transitions even with complex object movements. Through extensive evaluation on diverse scenarios, we demonstrate that our approach matches or exceeds state-of-the-art methods while eliminating the need for training or specialized hardware, making professional-quality video colour editing accessible to everyone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google