Beyond Image Borders: Learning Feature Extrapolation for Unbounded Image Composition

要約

画像の構成と美的品質を向上させるために、既存の方法のほとんどは、画像の境界近くの冗長なコンテンツを削除することによって、キャプチャされた画像を調整します。
ただし、このような画像トリミング方法は、画像ビューの範囲が制限されます。
画像を外挿し、外挿された画像からクロッピング ボックスを予測するいくつかの方法が提案されています。
それにもかかわらず、合成された外挿領域がトリミングされた画像に含まれる可能性があり、画像合成の結果が現実のものではなくなり、画質が低下する可能性があります。
この論文では、カメラ ビューと画像合成の無制限の推奨の両方のための共同フレームワーク (つまり、UNIC) を提示することで、この問題を回避します。
このようにして、トリミングされた画像は、予測されたカメラ ビューによって取得された画像のサブ画像であるため、本物であり、画質が一貫していることが保証されます。
具体的には、私たちのフレームワークは現在のカメラ プレビュー フレームを入力として受け取り、ビュー調整の推奨事項を提供します。これには、ズームインまたはズームアウトやカメラの移動など、画像の境界によって制限されない操作が含まれます。
視角調整予測の予測精度を向上させるために、特徴外挿により視野をさらに拡張します。
1 回または数回のビュー調整の後、この方法は収束し、カメラ ビューと推奨される画像構成を示す境界ボックスの両方が得られます。
既存の画像トリミング データセットに基づいて構築されたデータセットに対して広範な実験が行われ、カメラ ビューと画像構成の無制限の推奨における UNIC の有効性が示されています。
ソース コード、データセット、および事前トレーニングされたモデルは、https://github.com/liuxiaoyu1104/UNIC で入手できます。

要約(オリジナル)

For improving image composition and aesthetic quality, most existing methods modulate the captured images by striking out redundant content near the image borders. However, such image cropping methods are limited in the range of image views. Some methods have been suggested to extrapolate the images and predict cropping boxes from the extrapolated image. Nonetheless, the synthesized extrapolated regions may be included in the cropped image, making the image composition result not real and potentially with degraded image quality. In this paper, we circumvent this issue by presenting a joint framework for both unbounded recommendation of camera view and image composition (i.e., UNIC). In this way, the cropped image is a sub-image of the image acquired by the predicted camera view, and thus can be guaranteed to be real and consistent in image quality. Specifically, our framework takes the current camera preview frame as input and provides a recommendation for view adjustment, which contains operations unlimited by the image borders, such as zooming in or out and camera movement. To improve the prediction accuracy of view adjustment prediction, we further extend the field of view by feature extrapolation. After one or several times of view adjustments, our method converges and results in both a camera view and a bounding box showing the image composition recommendation. Extensive experiments are conducted on the datasets constructed upon existing image cropping datasets, showing the effectiveness of our UNIC in unbounded recommendation of camera view and image composition. The source code, dataset, and pretrained models is available at https://github.com/liuxiaoyu1104/UNIC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google