Initialisation of Autonomous Aircraft Visual Inspection Systems via CNN-Based Camera Pose Estimation

要約

一般目視検査は、民間航空機の外装の明らかな損傷を検出して位置を特定するために定期的に使用される手動検査プロセスです。
航空機のダウンタイムを最小限に抑えるために搭乗ゲートでこのプロセスを実行する需要が高まっており、人間への依存を減らすためにこのプロセスの自動化が望まれています。
この自動化には通常、初期化のために航空機に対するカメラの姿勢を推定する最初のステップが必要です。
ただし、位置特定方法にはインフラストラクチャが必要になることが多く、制御されていない屋外環境や空港の駐機場での限られた所要時間 (約 2 時間) 内で実行する場合は非常に困難になる可能性があります。
さらに、民間航空機へのアクセスは非常に制限されているため、ソリューションの開発とテストが困難になります。
したがって、この論文では、検査タスクに使用されるものと同じパン・チルト・ズームカメラを使用して、それ自体の姿勢を推定することにより、オンサイトのインフラストラクチャを使用しない初期化方法を提案します。
これは、カメラのポーズを回帰するために合成画像のみを使用してトレーニングされたディープ畳み込みニューラル ネットワークを使用して実現されます。
ネットワークをトレーニングするためのデータセットを生成するときにドメインのランダム化を適用し、既知の航空機の形状を利用して位置と方向を関連付ける既存の損失関数に新しいコンポーネントを導入することで予測精度を向上させます。
実験が行われ、中央誤差 0.22 m、0.73 度でカメラのポーズを回帰することに成功しました。

要約(オリジナル)

General Visual Inspection is a manual inspection process regularly used to detect and localise obvious damage on the exterior of commercial aircraft. There has been increasing demand to perform this process at the boarding gate to minimize the downtime of the aircraft and automating this process is desired to reduce the reliance on human labour. This automation typically requires the first step of estimating a camera’s pose with respect to the aircraft for initialisation. However, localisation methods often require infrastructure, which can be very challenging when performed in uncontrolled outdoor environments and within the limited turnover time (approximately 2 hours) on an airport tarmac. In addition, access to commercial aircraft can be very restricted, causing development and testing of solutions to be a challenge. Hence, this paper proposes an on-site infrastructure-less initialisation method, by using the same pan-tilt-zoom camera used for the inspection task to estimate its own pose. This is achieved using a Deep Convolutional Neural Network trained with only synthetic images to regress the camera’s pose. We apply domain randomisation when generating our dataset for training our network and improve prediction accuracy by introducing a new component to an existing loss function that leverages on known aircraft geometry to relate position and orientation. Experiments are conducted and we have successfully regressed camera poses with a median error of 0.22 m and 0.73 degrees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google