Single image calibration using knowledge distillation approaches

要約

最近の深層学習ベースのキャリブレーション手法は、1枚の画像からカメラの外部および内部パラメータを予測できますが、その一般化は、学習データサンプルの数と分布によって制限されたままです。膨大な計算量とスペースを必要とするため、畳み込みニューラルネットワーク（CNN）は、リソースに制約のある環境での実装を妨げています。この課題を解決するために、我々は、過去に学習したデータに対する性能を維持しながら、新しいデータを学習することによって、徐々にCNNを学習することを動機としている。我々のアプローチは、CNNアーキテクチャを基に、新しいデータ分布に対してネットワークを更新する際に知識を保持するために、異なる漸進的学習戦略を用いてカメラのパラメータ（焦点距離、ピッチ、ロール）を自動的に推定するものである。正確には、我々は4つの一般的な漸増学習、すなわち、LwF、iCaRLを適応する。LwF, iCaRL, LU CIR, BiCの損失関数を我々の回帰問題に対して修正することにより、4つの一般的な漸増学習を適応する。我々は、299008枚の屋内外の画像を含む2つのデータセットで評価を行った。実験結果は有意であり、どの方法がカメラキャリブレーション推定に優れているかを示している。

要約(オリジナル)

Although recent deep learning-based calibration methods can predict extrinsic and intrinsic camera parameters from a single image, their generalization remains limited by the number and distribution of training data samples. The huge computational and space requirement prevents convolutional neural networks (CNNs) from being implemented in resource-constrained environments. This challenge motivated us to learn a CNN gradually, by training new data while maintaining performance on previously learned data. Our approach builds upon a CNN architecture to automatically estimate camera parameters (focal length, pitch, and roll) using different incremental learning strategies to preserve knowledge when updating the network for new data distributions. Precisely, we adapt four common incremental learning, namely: LwF , iCaRL, LU CIR, and BiC by modifying their loss functions to our regression problem. We evaluate on two datasets containing 299008 indoor and outdoor images. Experiment results were significant and indicated which method was better for the camera calibration estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL