A Fusion of Variational Distribution Priors and Saliency Map Replay for Continual 3D Reconstruction

要約

単一画像 3D 再構成は、単一ビュー画像から 3D オブジェクトの形状を予測することに焦点を当てた研究課題です。
このタスクでは、形状の可視部分と遮蔽部分の両方を予測するために大量のデータ取得が必要です。
さらに、学習ベースの方法では、考えられるすべてのクラスに対して包括的なトレーニング データセットを作成するという困難に直面しています。
この目的を達成するために、私たちは継続学習ベースの 3D 再構成手法を提案します。その目的は、新しいクラスでトレーニングした後でも、以前に見たクラスを合理的に再構成できる変分事前分布を使用してモデルを設計することです。
変分事前分布は抽象的な形状を表し、忘却と闘いますが、顕著性マップは少ないメモリ使用量でオブジェクトの属性を保持します。
広範なトレーニング データを保存する際のリソースの制約により、これは非常に重要です。
さらに、グローバルで個別のオブジェクトの特徴をキャプチャするために、顕著性マップベースのエクスペリエンス リプレイを導入します。
徹底的な実験により、確立された方法と比較して定量的および定性的に競合する結果が得られます。

要約(オリジナル)

Single-image 3D reconstruction is a research challenge focused on predicting 3D object shapes from single-view images. This task requires significant data acquisition to predict both visible and occluded portions of the shape. Furthermore, learning-based methods face the difficulty of creating a comprehensive training dataset for all possible classes. To this end, we propose a continual learning-based 3D reconstruction method where our goal is to design a model using Variational Priors that can still reconstruct the previously seen classes reasonably even after training on new classes. Variational Priors represent abstract shapes and combat forgetting, whereas saliency maps preserve object attributes with less memory usage. This is vital due to resource constraints in storing extensive training data. Additionally, we introduce saliency map-based experience replay to capture global and distinct object features. Thorough experiments show competitive results compared to established methods, both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google