DeepArUco++: Improved detection of square fiducial markers in challenging lighting conditions

要約

基準マーカーは、オブジェクトの姿勢の推定と検出に使用されるコンピューター ビジョン ツールです。
これらのマーカーは、産業、医療、物流などの分野で非常に有用です。
ただし、最適な照明条件が常に利用できるわけではなく、ぼやけやセンサーのノイズなどの他の要因が画質に影響を与える可能性があります。
基準マーカーを正確に位置特定してデコードする古典的なコンピュータビジョン技術は、困難な照明条件（同じフレーム内の照明の極端な変化など）では失敗することがよくあります。
そこで、畳み込みニューラル ネットワークの堅牢性を活用して、困難な照明条件下でマーカーの検出とデコードを実行する深層学習ベースのフレームワークである DeepArUco++ を提案します。
このフレームワークは、各ステップ (マーカー検出、コーナー リファインメント、マーカー デコード) で異なるニューラル ネットワーク モデルを使用するパイプラインに基づいています。
さらに、提案されたパイプラインを構成するさまざまなモデルをトレーニングするための合成データを生成する簡単な方法を提案します。また、システムを評価するために使用される、厳しい照明条件における ArUco マーカーの 2 つ目の現実のデータセットを提示します。
開発された手法は、そのようなタスクにおいて他の最先端の手法を上回り、それらの手法の開発に使用されたデータセットでテストする場合でも競争力を維持します。
GitHub で入手可能なコード: https://github.com/AVAuco/deeparuco/

要約(オリジナル)

Fiducial markers are a computer vision tool used for object pose estimation and detection. These markers are highly useful in fields such as industry, medicine and logistics. However, optimal lighting conditions are not always available,and other factors such as blur or sensor noise can affect image quality. Classical computer vision techniques that precisely locate and decode fiducial markers often fail under difficult illumination conditions (e.g. extreme variations of lighting within the same frame). Hence, we propose DeepArUco++, a deep learning-based framework that leverages the robustness of Convolutional Neural Networks to perform marker detection and decoding in challenging lighting conditions. The framework is based on a pipeline using different Neural Network models at each step, namely marker detection, corner refinement and marker decoding. Additionally, we propose a simple method for generating synthetic data for training the different models that compose the proposed pipeline, and we present a second, real-life dataset of ArUco markers in challenging lighting conditions used to evaluate our system. The developed method outperforms other state-of-the-art methods in such tasks and remains competitive even when testing on the datasets used to develop those methods. Code available in GitHub: https://github.com/AVAuco/deeparuco/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google