altiro3D: Scene representation from single image and novel view synthesis

要約

与えられたオリジナルの RGB 画像またはフラット ビデオから現実を表現するために開発された無料の拡張ライブラリである altiro3D を紹介します。
ライトフィールド (またはネイティブ) 画像またはビデオを生成し、リアルな 3D 体験を得ることができます。
N 個の仮想画像を合成し、それらをキルト コラージュに順次追加するために、単眼の深度推定に MiDaS モデルを適用し、すべてのピクセルをマッピングする単純な OpenCV および Telea 修復技術を適用し、3D プロジェクション カメラを処理する「高速」アルゴリズムを実装します。
N 視点に沿ったシーンの変換。
元の画像がすべての視点の中心にあると仮定して、深度の度合いを使用してピクセルを比例的に移動します。
altiro3D を DIBR アルゴリズムと併用して、N 幾何学的視点を持つ同等の「リアル (低速)」カメラから中間スナップショットを計算することもできます。これには、いくつかの固有および外部カメラ パラメーターを事前に調整する必要があります。
ピクセルベースおよびデバイスベースのルックアップ テーブルを採用して、コンピューティング時間を最適化します。
単一の画像またはフレームから生成された複数の視点とビデオをフリービュー LCD ディスプレイに表示できます。

要約(オリジナル)

We introduce altiro3D, a free extended library developed to represent reality starting from a given original RGB image or flat video. It allows to generate a light-field (or Native) image or video and get a realistic 3D experience. To synthesize N-number of virtual images and add them sequentially into a Quilt collage, we apply MiDaS models for the monocular depth estimation, simple OpenCV and Telea inpainting techniques to map all pixels, and implement a ‘Fast’ algorithm to handle 3D projection camera and scene transformations along N-viewpoints. We use the degree of depth to move proportionally the pixels, assuming the original image to be at the center of all the viewpoints. altiro3D can also be used with DIBR algorithm to compute intermediate snapshots from a equivalent ‘Real (slower)’ camera with N-geometric viewpoints, which requires to calibrate a priori several intrinsic and extrinsic camera parameters. We adopt a pixel- and device-based Lookup Table to optimize computing time. The multiple viewpoints and video generated from a single image or frame can be displayed in a free-view LCD display.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google