Dual-Camera Smooth Zoom on Mobile Phones

要約

モバイル上のデュアル カメラ間でズームすると、幾何学的コンテンツと画像の色の顕著な変化がプレビューで発生し、必然的にユーザーのズーム エクスペリエンスに影響を与えます。
この作業では、スムーズなズーム プレビューを実現するための新しいタスク、つまりデュアルカメラ スムーズ ズーム (DCSZ) を導入します。
フレーム補間 (FI) 技術は潜在的な解決策ですが、グラウンド トゥルースの収集に苦労しています。
この問題に対処するために、シーンの再構成された 3D モデルをレンダリングすることで DCSZ データを生成するために連続仮想カメラが組み立てられるデータ ファクトリ ソリューションを提案します。
特に、我々は新しいデュアルカメラスムーズズームガウススプラッティング（ZoomGS）を提案します。ここでは、各仮想カメラに特定の3Dモデルを構築するためにカメラ固有のエンコーディングが導入されています。
提案されたデータ ファクトリを使用して、DCSZ の合成データセットを構築し、それを利用して FI モデルを微調整します。
さらに、評価のためにグラウンドトゥルースを使用しない現実世界のデュアルズーム画像を収集します。
複数の FI メソッドを使用して広範な実験が行われます。
結果は、微調整された FI モデルが DCSZ タスクで元のモデルと比較して大幅なパフォーマンス向上を達成することを示しています。
データセット、コード、および事前トレーニングされたモデルは、https://github.com/ZcsrenlongZ/ZoomGS で入手できます。

要約(オリジナル)

When zooming between dual cameras on a mobile, noticeable jumps in geometric content and image color occur in the preview, inevitably affecting the user’s zoom experience. In this work, we introduce a new task, ie, dual-camera smooth zoom (DCSZ) to achieve a smooth zoom preview. The frame interpolation (FI) technique is a potential solution but struggles with ground-truth collection. To address the issue, we suggest a data factory solution where continuous virtual cameras are assembled to generate DCSZ data by rendering reconstructed 3D models of the scene. In particular, we propose a novel dual-camera smooth zoom Gaussian Splatting (ZoomGS), where a camera-specific encoding is introduced to construct a specific 3D model for each virtual camera. With the proposed data factory, we construct a synthetic dataset for DCSZ, and we utilize it to fine-tune FI models. In addition, we collect real-world dual-zoom images without ground-truth for evaluation. Extensive experiments are conducted with multiple FI methods. The results show that the fine-tuned FI models achieve a significant performance improvement over the original ones on DCSZ task. The datasets, codes, and pre-trained models will are available at https://github.com/ZcsrenlongZ/ZoomGS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google