Omni$^2$: Unifying Omnidirectional Image Generation and Editing in an Omni Model

要約

$ 360^{\ circ} $ omnidirectional画像（ODI）は最近かなりの注目を集めており、さまざまな仮想現実（VR）および拡張現実（AR）アプリケーションで広く使用されています。
ただし、そのような画像をキャプチャすることは高価であり、特殊な機器が必要であり、ODI合成がますます重要になっています。
一般的な2D画像生成と編集方法は急速に進歩していますが、これらのモデルは、ODIの独自の形式と幅広い360 $^{\ circ} $ of-view（FOV）のためにODIを生成または編集するときに満足のいく結果を提供するのに苦労しています。
このギャップを埋めるために、\ textbf {\ textit {any2omni}}を構築します。最初の包括的なODI生成編集データセットは、多様な入力条件と最大9つのODI生成および編集タスクをカバーする60,000以上のトレーニングデータで構成されています。
任意の2omniに基づいて、\ textbf {\ underline {omni}}モデルの\ textbf {\ underline {omni}} – 方向性画像生成と編集（\ textbf {\ textIT {omni $^2 $}}）を提案します。
広範な実験は、ODI生成と編集タスクの両方で提案されたOMNI $^2 $モデルの優位性と有効性を示しています。

要約(オリジナル)

$360^{\circ}$ omnidirectional images (ODIs) have gained considerable attention recently, and are widely used in various virtual reality (VR) and augmented reality (AR) applications. However, capturing such images is expensive and requires specialized equipment, making ODI synthesis increasingly important. While common 2D image generation and editing methods are rapidly advancing, these models struggle to deliver satisfactory results when generating or editing ODIs due to the unique format and broad 360$^{\circ}$ Field-of-View (FoV) of ODIs. To bridge this gap, we construct \textbf{\textit{Any2Omni}}, the first comprehensive ODI generation-editing dataset comprises 60,000+ training data covering diverse input conditions and up to 9 ODI generation and editing tasks. Built upon Any2Omni, we propose an \textbf{\underline{Omni}} model for \textbf{\underline{Omni}}-directional image generation and editing (\textbf{\textit{Omni$^2$}}), with the capability of handling various ODI generation and editing tasks under diverse input conditions using one model. Extensive experiments demonstrate the superiority and effectiveness of the proposed Omni$^2$ model for both the ODI generation and editing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google