Meta-Optimization for Higher Model Generalizability in Single-Image Depth Prediction

要約

室内における単一画像の奥行き予測では、実環境での頑健性に関わる、未見のデータセットに対するモデルの汎化性はあまり研究されていない。我々は、勾配ベースのメタ学習を活用し、ゼロショットでのデータセット横断的な推論において、より高い一般化可能性を実現する。メタ学習で最も研究されている画像分類とは異なり、奥行きはピクセルレベルの連続範囲値であり、各画像から奥行きへのマッピングは環境によって大きく異なる。そのため、明示的なタスクの境界は存在しない。そこで、RGB-Dの各ペアをメタ最適化におけるタスクとして扱う、きめ細かなタスクを提案する。まず、限られたデータでメタ学習を行うことで、より優れた事前学習が得られることを示す（最大+29.4%)。メタ学習された重みを教師あり学習の初期化として用いることで、余分なデータや情報を必要とせず、この手法を用いないベースラインを常に上回る性能を実現する。単一のデータセットで訓練/テストのみを行う多くのインドアデプス手法と比較して、我々はゼロショットのクロスデータセットプロトコルを提案し、ロバスト性を厳密に評価し、我々のメタ初期化によって一貫して高い一般化と精度を示している。深度学習とメタ学習の交差点での研究は、両研究の流れを実用化に一歩近づける可能性があります。

要約(オリジナル)

Model generalizability to unseen datasets, concerned with in-the-wild robustness, is less studied for indoor single-image depth prediction. We leverage gradient-based meta-learning for higher generalizability on zero-shot cross-dataset inference. Unlike the most-studied image classification in meta-learning, depth is pixel-level continuous range values, and mappings from each image to depth vary widely across environments. Thus no explicit task boundaries exist. We instead propose fine-grained task that treats each RGB-D pair as a task in our meta-optimization. We first show meta-learning on limited data induces much better prior (max +29.4\%). Using meta-learned weights as initialization for following supervised learning, without involving extra data or information, it consistently outperforms baselines without the method. Compared to most indoor-depth methods that only train/ test on a single dataset, we propose zero-shot cross-dataset protocols, closely evaluate robustness, and show consistently higher generalizability and accuracy by our meta-initialization. The work at the intersection of depth and meta-learning potentially drives both research streams to step closer to practical use.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL