$\text{DC}^2$: Dual-Camera Defocus Control by Learning to Refocus

要約

タイトル：$\text{DC}^2$：学習による双眼カメラを用いたデフォーカス制御

要約：
– スマートフォンのカメラは、ハードウェアとソフトウェアの改良により、徐々にプロ用カメラにも引けを取らない性能となってきている。
– しかし、固定の絞りがあるため、撮影される画像の被写界深度を制御することができず、これがユーザーにとって制約となっている。
– 一方、多くのスマートフォンには複数のカメラがあり、より広い視野と深い被写界深度を持つ超広角カメラと、浅い被写界深度を持つ高解像度の主カメラがあります。
– 本論文では、$\text{DC}^2$と呼ばれるシステムを提案しています。このシステムは、デュアルカメラシステムからの情報を融合することで、カメラの絞り、焦点距離、任意のデフォーカス効果を合成的に変化させるためのものです。
– 本システムの重要な洞察の1つは、コントロールを学ぶためのプロキシタスクとして、画像のリフォーカスを用いることです。リアルワールドのスマートフォンカメラのデータセットを用いた定量的、定性的評価により、本システムの効果を実証します。
– 最後に、$\text{DC}^2$によって、チルトシフトやコンテンツベースのデフォーカス効果を含む、創造的なポストキャプチャデフォーカス制御を実証しています。

要約(オリジナル)

Smartphone cameras today are increasingly approaching the versatility and quality of professional cameras through a combination of hardware and software advancements. However, fixed aperture remains a key limitation, preventing users from controlling the depth of field (DoF) of captured images. At the same time, many smartphones now have multiple cameras with different fixed apertures – specifically, an ultra-wide camera with wider field of view and deeper DoF and a higher resolution primary camera with shallower DoF. In this work, we propose $\text{DC}^2$, a system for defocus control for synthetically varying camera aperture, focus distance and arbitrary defocus effects by fusing information from such a dual-camera system. Our key insight is to leverage real-world smartphone camera dataset by using image refocus as a proxy task for learning to control defocus. Quantitative and qualitative evaluations on real-world data demonstrate our system’s efficacy where we outperform state-of-the-art on defocus deblurring, bokeh rendering, and image refocus. Finally, we demonstrate creative post-capture defocus control enabled by our method, including tilt-shift and content-based defocus effects.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI