PPEA-Depth: Progressive Parameter-Efficient Adaptation for Self-Supervised Monocular Depth Estimation

要約

自己監視型単眼深度推定は、自動運転やロボット工学にまたがるアプリケーションにおいて非常に重要です。
ただし、自己監視に依存すると、強力な静的シーンの仮定が導入されるため、現実世界のほとんどの状況で一般的である動的シーンで最適なパフォーマンスを達成する際に課題が生じます。
これらの問題に対処するために、自己教師あり深度推定用に事前トレーニングされた画像モデルを転送するための漸進的パラメーター効率的適応アプローチである PPEA-Depth を提案します。
トレーニングは 2 つの連続した段階で構成されます。最初の段階では主に静的なシーンで構成されるデータセットでトレーニングされ、その後に動的シーンを含むより複雑なデータセットへの拡張が続きます。
このプロセスを促進するために、コンパクトなエンコーダおよびデコーダ アダプタを設計して、パラメータ効率の高いチューニングを可能にし、ネットワークが効果的に適応できるようにします。
これらは、事前トレーニングされた画像モデルからの一般化されたパターンを支持するだけでなく、前のフェーズから得られた知識を次のフェーズに保持します。
広範な実験により、PPEA-Depth が KITTI、CityScapes、DDAD データセットで最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Self-supervised monocular depth estimation is of significant importance with applications spanning across autonomous driving and robotics. However, the reliance on self-supervision introduces a strong static-scene assumption, thereby posing challenges in achieving optimal performance in dynamic scenes, which are prevalent in most real-world situations. To address these issues, we propose PPEA-Depth, a Progressive Parameter-Efficient Adaptation approach to transfer a pre-trained image model for self-supervised depth estimation. The training comprises two sequential stages: an initial phase trained on a dataset primarily composed of static scenes, succeeded by an expansion to more intricate datasets involving dynamic scenes. To facilitate this process, we design compact encoder and decoder adapters to enable parameter-efficient tuning, allowing the network to adapt effectively. They not only uphold generalized patterns from pre-trained image models but also retain knowledge gained from the preceding phase into the subsequent one. Extensive experiments demonstrate that PPEA-Depth achieves state-of-the-art performance on KITTI, CityScapes and DDAD datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google