Fourier Boundary Features Network with Wider Catchers for Glass Segmentation

要約

ガラスは現実世界と反射の間の境界を大幅に曖昧にします。
特殊な透過率と反射率の性質により、マシン ビジョンに関連する意味論的なタスクが混乱しています。
したがって、反射面と透過ガラスのセグメンテーションを制約するには、ガラスによって構築された境界をどのようにクリアし、深部構造の誤検出情報として特徴を過剰に捕捉しないようにするかが重要です。
我々は、Fourier Boundary features Network with Wider Catchers (FBWC) を提案しました。これは、一次ガラスの意味情報を通じて細かい粒度のセグメンテーション境界をガイドするために、垂直方向に深くすることなく、十分に幅の広い水平方向の浅い分岐を利用する最初の試みとなる可能性があります。
具体的には、広い領域のセグメンテーションを固定し、構造的な観点から過剰な抽出を削減するための Wider Coarse-Catchers (WCC) を設計しました。
反射ノイズによって引き起こされる境界内の不完全な領域を回避するために導入されたクロストランスポーズアテンション (CTA) によって、きめの細かい特徴を埋め込みます。
ガラスの特徴を発掘し、高層と低層のコンテキストのバランスをとるために、情報統合を堅牢に制御する学習可能なフーリエ畳み込みコントローラー (FCC) が提案されています。
提案された方法は、3 つの異なる公開ガラス セグメンテーション データセットで検証されています。
実験結果は、提案された方法がガラス画像セグメンテーションにおける最先端 (SOTA) 方法と比較して、より優れたセグメンテーション パフォーマンスを生み出すことを明らかにしました。

要約(オリジナル)

Glass largely blurs the boundary between the real world and the reflection. The special transmittance and reflectance quality have confused the semantic tasks related to machine vision. Therefore, how to clear the boundary built by glass, and avoid over-capturing features as false positive information in deep structure, matters for constraining the segmentation of reflection surface and penetrating glass. We proposed the Fourier Boundary Features Network with Wider Catchers (FBWC), which might be the first attempt to utilize sufficiently wide horizontal shallow branches without vertical deepening for guiding the fine granularity segmentation boundary through primary glass semantic information. Specifically, we designed the Wider Coarse-Catchers (WCC) for anchoring large area segmentation and reducing excessive extraction from a structural perspective. We embed fine-grained features by Cross Transpose Attention (CTA), which is introduced to avoid the incomplete area within the boundary caused by reflection noise. For excavating glass features and balancing high-low layers context, a learnable Fourier Convolution Controller (FCC) is proposed to regulate information integration robustly. The proposed method has been validated on three different public glass segmentation datasets. Experimental results reveal that the proposed method yields better segmentation performance compared with the state-of-the-art (SOTA) methods in glass image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google