DIME-Net: Neural Network-Based Dynamic Intrinsic Parameter Rectification for Cameras with Optical Image Stabilization System

要約

モバイル デバイスの光学式画像安定化 (OIS) システムは、ステアリング レンズによって画像のブレを低減し、手ぶれを補正します。
ただし、OIS は固有のカメラ パラメーター (つまり、$\mathrm{K}$ 行列) を動的に変更するため、正確なカメラ ポーズの推定や 3D 再構成が妨げられます。
ここでは、$\mathrm{K}$ 行列をリアルタイムで推定する新しいニューラル ネットワーク ベースのアプローチを提案します。これにより、ポーズ推定またはシーン再構成をカメラのネイティブ解像度で実行して、モバイル デバイスで最高の精度を得ることができます。
私たちのネットワーク設計は、満足のいく投影モデルの不一致機能と 3D ポイント位置を入力として取り、マルチレイヤー パーセプトロン (MLP) を使用して $f_{\mathrm{K}}$ 多様体を近似します。
また、再投影誤差を損失関数として採用できるように、逆伝搬 PnP (BPnP) レイヤーを導入することにより、このネットワークに独自のトレーニング スキームを設計します。
トレーニング プロセスでは、正確な $f_{\mathrm{K}}$ 多様体をキャプチャするために正確なキャリブレーション パターンを使用しますが、トレーニングされたネットワークはどこでも使用できます。
提案された Dynamic Intrinsic Manifold Estimation ネットワークを DIME-Net と名付け、3 つの異なるモバイル デバイスで実装およびテストしました。
すべての場合において、DIME-Net は再投影エラーを少なくとも $64\%$ 減らすことができ、これは私たちの設計が成功したことを示しています。

要約(オリジナル)

Optical Image Stabilization (OIS) system in mobile devices reduces image blurring by steering lens to compensate for hand jitters. However, OIS changes intrinsic camera parameters (i.e. $\mathrm{K}$ matrix) dynamically which hinders accurate camera pose estimation or 3D reconstruction. Here we propose a novel neural network-based approach that estimates $\mathrm{K}$ matrix in real-time so that pose estimation or scene reconstruction can be run at camera native resolution for the highest accuracy on mobile devices. Our network design takes gratified projection model discrepancy feature and 3D point positions as inputs and employs a Multi-Layer Perceptron (MLP) to approximate $f_{\mathrm{K}}$ manifold. We also design a unique training scheme for this network by introducing a Back propagated PnP (BPnP) layer so that reprojection error can be adopted as the loss function. The training process utilizes precise calibration patterns for capturing accurate $f_{\mathrm{K}}$ manifold but the trained network can be used anywhere. We name the proposed Dynamic Intrinsic Manifold Estimation network as DIME-Net and have it implemented and tested on three different mobile devices. In all cases, DIME-Net can reduce reprojection error by at least $64\%$ indicating that our design is successful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google