Real-time Detection of 2D Tool Landmarks with Synthetic Training Data

要約

このホワイト ペーパーでは、ハンマーやドライバーなどの物理的なツールの特定のランドマークの 2D 位置をリアルタイムで検出できるディープ ラーニング アーキテクチャを紹介します。
手作業によるラベル付けの手間を省くために、ネットワークは合成的に生成されたデータでトレーニングされます。
コンピュータで生成された画像でコンピュータ ビジョン モデルをトレーニングしながら、実際の画像で高い精度を達成することは、ドメインの違いによる課題です。
提案された方法は、この問題に対処するために、転送学習と中間監視アーキテクチャを組み合わせた高度なレンダリング方法を使用します。
中間ヒートマップ モデル (IHM) と名付けられた、このホワイト ペーパーで提示されたモデルは、合成データでトレーニングされると、実際の画像に一般化されることが示されています。
問題のツールの正確なテクスチャ 3D モデルの必要性を回避するために、同じタイプのツールの異なる 3D モデルのセットでトレーニングすると、モデルが目に見えないツールに一般化されることが示されています。
IHM は、キーポイント検出に対する 2 つの既存のアプローチと比較され、合成データでトレーニングされたツール ランドマークの検出におけるアプローチよりも優れていることが示されています。

要約(オリジナル)

In this paper a deep learning architecture is presented that can, in real time, detect the 2D locations of certain landmarks of physical tools, such as a hammer or screwdriver. To avoid the labor of manual labeling, the network is trained on synthetically generated data. Training computer vision models on computer generated images, while still achieving good accuracy on real images, is a challenge due to the difference in domain. The proposed method uses an advanced rendering method in combination with transfer learning and an intermediate supervision architecture to address this problem. It is shown that the model presented in this paper, named Intermediate Heatmap Model (IHM), generalizes to real images when trained on synthetic data. To avoid the need for an exact textured 3D model of the tool in question, it is shown that the model will generalize to an unseen tool when trained on a set of different 3D models of the same type of tool. IHM is compared to two existing approaches to keypoint detection and it is shown that it outperforms those at detecting tool landmarks, trained on synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google