UltraZoom: Generating Gigapixel Images from Regular Photos

要約

ハンドヘルドの電話写真など、さりげなくキャプチャされた入力からオブジェクトのギガピクセル解像度画像を生成するためのシステムであるUltrazoomを提示します。
フルショットの画像（グローバル、低極性）と1つ以上のクローズアップ（ローカル、ハイデテール）を考えると、超Zoom Upsaleフル画像を縮小して、クローズアップ例の細かい詳細とスケールに合わせます。
これを達成するために、クローズアップから吸気ごとのペアデータセットを構築し、オブジェクト固有の低から高度な解像度マッピングを学習するために、前処理された生成モデルを適応させます。
推論では、モデルを完全な画像にスライディングウィンドウファッションで適用します。
これらのペアを構築することは非自明です。スケールの推定と分解アライメントのために、完全な画像内にクローズアップを登録する必要があります。
カジュアルな野生のキャプチャで任意の資料に登録するためのシンプルで堅牢な方法を紹介します。
一緒に、これらのコンポーネントは、シームレスなパンを可能にし、オブジェクト全体をズームするシステムを形成し、最小入力から一貫した光線上のギガピクセル画像を生成します。

要約(オリジナル)

We present UltraZoom, a system for generating gigapixel-resolution images of objects from casually captured inputs, such as handheld phone photos. Given a full-shot image (global, low-detail) and one or more close-ups (local, high-detail), UltraZoom upscales the full image to match the fine detail and scale of the close-up examples. To achieve this, we construct a per-instance paired dataset from the close-ups and adapt a pretrained generative model to learn object-specific low-to-high resolution mappings. At inference, we apply the model in a sliding window fashion over the full image. Constructing these pairs is non-trivial: it requires registering the close-ups within the full image for scale estimation and degradation alignment. We introduce a simple, robust method for getting registration on arbitrary materials in casual, in-the-wild captures. Together, these components form a system that enables seamless pan and zoom across the entire object, producing consistent, photorealistic gigapixel imagery from minimal input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google