Interactive Occlusion Boundary Estimation through Exploitation of Synthetic Data

要約

オクルージョン境界 (OB) は、2D 画像内のオクルージョン イベントを幾何学的に位置特定し、シーンの理解に関するさまざまな問題に対処するための有用な情報を含みます。
彼らの研究を進めるために、私たちは次の 3 つの側面で調査を主導しました。
まず、我々は文献初となる OB の対話型推定を研究し、複数のスクリブル介入を使用した効率的なディープネットワークベースの方法 (DNMMSI と呼ばれる) を提案しました。
アートの全自動メソッド。
第二に、OB が 3D シーンから幾何学的かつ明確に決定されるという特殊性のおかげで、トレーニング プロセスに合成ベンチマークを活用することを提案します。
この目的を達成するために、私たちは 2D 画像とそのグラウンドトゥルース OB を自動生成するための Mesh2OB という名前の効率的なツールを開発しました。これを使用して、OB-FUTURE という名前の合成ベンチマークを構築しました。
豊富な実験結果は、トレーニングにこのような合成ベンチマークを活用すると、ドメイン適応技術を使用しなくても、有望なパフォーマンスが達成されることを示しています。
最後に、OB 関連の研究でより説得力のある堅牢な評価を達成するために、OB-LabName という名前の実際のベンチマークを作成しました。これは、120 枚の高解像度画像とそのグラウンドトゥルース OB で構成され、以前のベンチマークの精度を上回る精度を備えています。
。
さらなる研究をサポートするために、事前トレーニングされたパラメーター、Mesh2OB、OB-FUTURE、および OB-LabName を備えた DNMMSI をリリースする予定です。

要約(オリジナル)

Occlusion boundaries (OBs) geometrically localize the occlusion events in a 2D image, and contain useful information for addressing various scene understanding problems. To advance their study, we have led the investigation in the following three aspects. Firstly, we have studied interactive estimation of OBs, which is the first in the literature, and proposed an efficient deep-network-based method using multiple-scribble intervention, named DNMMSI, which significantly improves the performance over the state-of-the-art fully-automatic methods. Secondly, we propose to exploit the synthetic benchmark for the training process, thanks to the particularity that OBs are determined geometrically and unambiguously from the 3D scene. To this end, we have developed an efficient tool, named Mesh2OB, for the automatic generation of 2D images together with their ground-truth OBs, using which we have constructed a synthetic benchmark, named OB-FUTURE. Abundant experimental results demonstrate that leveraging such a synthetic benchmark for training achieves promising performance, even without the use of domain adaptation techniques. Finally, to achieve a more compelling and robust evaluation in OB-related research, we have created a real benchmark, named OB-LabName, consisting of 120 high-resolution images together with their ground-truth OBs, with precision surpassing that of previous benchmarks. We will release DNMMSI with pre-trained parameters, Mesh2OB, OB-FUTURE, and OB-LabName to support further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google