ObjCAViT: Improving Monocular Depth Estimation Using Natural Language Models And Image-Object Cross-Attention

要約

単眼深度推定 (MDE) はコンピューター ビジョンにおける重要な問題ですが、3D シーンをわずか 2 次元に圧縮することから生じるあいまいさのために困難です。
この分野では、シーンのセマンティクスとその中のオブジェクトを考慮せずに、単純な画像から画像への変換として扱うのが一般的です。
対照的に、人間と動物は高レベルの情報を使用して MDE を解決することが示されています。つまり、シーン内のオブジェクトの性質、それらの位置と相互に関連する可能性のある構成、およびそれらの見かけのサイズに関する事前知識はすべて、
このあいまいさを解決するのに役立ちます。
この論文では、シーン内のオブジェクトのセマンティクスとオブジェクト間の関係に関する既知の有用な情報の使用を促進することにより、MDE パフォーマンスを向上させる新しい方法を提示します。
私たちの新しい ObjCAViT モジュールは、言語モデルから世界の知識を調達し、トランスフォーマー アテンションを使用して MDE 問題のコンテキストでオブジェクト間の関係を学習し、見かけのサイズ情報を組み込みます。
私たちの方法は非常に正確な深度マップを生成し、NYUv2 および KITTI データセットで競争力のある結果を得ることができます。
私たちのアブレーション実験は、ObjCAViT モジュール内で言語と相互注意を使用するとパフォーマンスが向上することを示しています。
コードは https://github.com/DylanAuty/ObjCAViT で公開されています。

要約(オリジナル)

While monocular depth estimation (MDE) is an important problem in computer vision, it is difficult due to the ambiguity that results from the compression of a 3D scene into only 2 dimensions. It is common practice in the field to treat it as simple image-to-image translation, without consideration for the semantics of the scene and the objects within it. In contrast, humans and animals have been shown to use higher-level information to solve MDE: prior knowledge of the nature of the objects in the scene, their positions and likely configurations relative to one another, and their apparent sizes have all been shown to help resolve this ambiguity. In this paper, we present a novel method to enhance MDE performance by encouraging use of known-useful information about the semantics of objects and inter-object relationships within a scene. Our novel ObjCAViT module sources world-knowledge from language models and learns inter-object relationships in the context of the MDE problem using transformer attention, incorporating apparent size information. Our method produces highly accurate depth maps, and we obtain competitive results on the NYUv2 and KITTI datasets. Our ablation experiments show that the use of language and cross-attention within the ObjCAViT module increases performance. Code is released at https://github.com/DylanAuty/ObjCAViT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google