SphereDrag: Spherical Geometry-Aware Panoramic Image Editing

要約

画像編集は平面画像で大きな進歩を遂げましたが、パノラマ画像編集は未描写のままです。
球状の形状と投影の歪みにより、パノラマ画像は、境界の不連続性、軌跡の変形、および不均一なピクセル密度の3つの重要な課題を示しています。
これらの問題に取り組むために、正確で制御可能な編集のために球状のジオメトリ知識を利用した新しいパノラマ編集フレームワークであるSpheredragを提案します。
具体的には、適応型再注射（AR）は、適応球体回転を使用して不連続性に対処します。
Great-Circle軌道調整（GCTA）は、動きの軌跡をより正確に追跡します。
球面検索領域追跡（SSRT）は、不均一なピクセル密度に対処するために、球状の位置に基づいて検索範囲を適応的にスケーリングします。
また、標準化された評価フレームワークを提供する複数のオブジェクトと多様なスタイルを含む複雑な編集タスクを含む、パノラマ編集ベンチマークであるPanobenchを構築します。
実験では、SpheredRagが幾何学的な一貫性と画質の既存の方法と比較してかなりの改善を獲得し、最大10.5％の相対的な改善を達成することが示されています。

要約(オリジナル)

Image editing has made great progress on planar images, but panoramic image editing remains underexplored. Due to their spherical geometry and projection distortions, panoramic images present three key challenges: boundary discontinuity, trajectory deformation, and uneven pixel density. To tackle these issues, we propose SphereDrag, a novel panoramic editing framework utilizing spherical geometry knowledge for accurate and controllable editing. Specifically, adaptive reprojection (AR) uses adaptive spherical rotation to deal with discontinuity; great-circle trajectory adjustment (GCTA) tracks the movement trajectory more accurate; spherical search region tracking (SSRT) adaptively scales the search range based on spherical location to address uneven pixel density. Also, we construct PanoBench, a panoramic editing benchmark, including complex editing tasks involving multiple objects and diverse styles, which provides a standardized evaluation framework. Experiments show that SphereDrag gains a considerable improvement compared with existing methods in geometric consistency and image quality, achieving up to 10.5% relative improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google