Hadamard Attention Recurrent Transformer: A Strong Baseline for Stereo Matching Transformer

要約

トランステクノロジーの進歩に照らして、現存する研究は、双眼ステレオマッチングチャレンジの潜在的なソリューションとしてステレオトランスの構築を仮定しています。
ただし、低ランクのボトルネックと注意メカニズムの二次複雑さによって制約されているステレオトランスは、合理的な推論時間内に十分な非線形表現力を実証できません。
重要な同名のポイントに焦点を当てていないため、反射や弱いテクスチャなど、そのような方法の表現が困難な状況に対して脆弱になります。
さらに、コンピューティング速度が遅いことは、アプリケーションを助長しません。
これらの困難を克服するために、次のコンポーネントを組み込んだHadamardの注意再発ステレオトランス（HART）を提示します。1）より速い推論のために、注意メカニズムのためのHadamard製品パラダイムを提示し、線形計算の複雑さを実現します。
2）関連する特徴応答と無関係な特徴応答の違いを増幅するために、密な注意カーネル（DAK）を設計しました。
これにより、Hartは重要な詳細に集中できます。
Dakはまた、ゼロ要素を非ゼロ要素に変換して、低ランクのボトルネックによって引き起こされる表現力の低下を軽減します。
3）Hadamard製品に欠けている空間的およびチャネル相互作用を補うために、大小のカーネル畳み込みのインターリービングを通じてグローバル情報とローカル情報の両方をキャプチャすることを提案します。
実験結果は、ハートの有効性を示しています。
反射エリアでは、ハートは、提出時に公開されたすべての方法の中で、キッティ2012のベンチマークで1位にランクされました。
コードはhttps://github.com/zyangchen/hartで入手できます。

要約(オリジナル)

In light of the advancements in transformer technology, extant research posits the construction of stereo transformers as a potential solution to the binocular stereo matching challenge. However, constrained by the low-rank bottleneck and quadratic complexity of attention mechanisms, stereo transformers still fail to demonstrate sufficient nonlinear expressiveness within a reasonable inference time. The lack of focus on key homonymous points renders the representations of such methods vulnerable to challenging conditions, including reflections and weak textures. Furthermore, a slow computing speed is not conducive to the application. To overcome these difficulties, we present the Hadamard Attention Recurrent Stereo Transformer (HART) that incorporates the following components: 1) For faster inference, we present a Hadamard product paradigm for the attention mechanism, achieving linear computational complexity. 2) We designed a Dense Attention Kernel (DAK) to amplify the differences between relevant and irrelevant feature responses. This allows HART to focus on important details. DAK also converts zero elements to non-zero elements to mitigate the reduced expressiveness caused by the low-rank bottleneck. 3) To compensate for the spatial and channel interaction missing in the Hadamard product, we propose MKOI to capture both global and local information through the interleaving of large and small kernel convolutions. Experimental results demonstrate the effectiveness of our HART. In reflective area, HART ranked 1st on the KITTI 2012 benchmark among all published methods at the time of submission. Code is available at https://github.com/ZYangChen/HART.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google