Aberration-Aware Depth-from-Focus

要約

深度推定のためのコンピューター ビジョン手法では、通常、理想化された光学系を備えた単純なカメラ モデルが使用されます。
最新の機械学習アプローチでは、これは、シミュレートされたデータを使用して深いネットワークをトレーニングしようとすると、特に焦点深度のような焦点に敏感なタスクの場合に問題を引き起こします。
この作業では、焦点スタックで最適に焦点を合わせたフレームの決定に影響を与える軸外収差によって引き起こされるドメイン ギャップを調査します。
次に、異常認識トレーニング (AAT) を通じてこのドメイン ギャップを埋める方法を探ります。
私たちのアプローチには、さまざまな位置と焦点距離でのレンズ収差をモデル化する軽量ネットワークが含まれます。これは、その後、従来のネットワーク トレーニング パイプラインに統合されます。
合成データと実世界データの両方で事前トレーニング済みモデルの一般性を評価します。
実験結果は、提案された AAT スキームが、モデルの微調整やネットワーク アーキテクチャの変更を行わなくても深度推定の精度を向上できることを示しています。

要約(オリジナル)

Computer vision methods for depth estimation usually use simple camera models with idealized optics. For modern machine learning approaches, this creates an issue when attempting to train deep networks with simulated data, especially for focus-sensitive tasks like Depth-from-Focus. In this work, we investigate the domain gap caused by off-axis aberrations that will affect the decision of the best-focused frame in a focal stack. We then explore bridging this domain gap through aberration-aware training (AAT). Our approach involves a lightweight network that models lens aberrations at different positions and focus distances, which is then integrated into the conventional network training pipeline. We evaluate the generality of pretrained models on both synthetic and real-world data. Our experimental results demonstrate that the proposed AAT scheme can improve depth estimation accuracy without fine-tuning the model or modifying the network architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google