CT-Bound: Robust Boundary Detection From Noisy Images Via Hybrid Convolution and Transformer Neural Networks

要約

ハイブリッド Convolution および Transformer ニューラル ネットワークを使用した、非常にノイズの多い画像に対する堅牢かつ高速な境界検出方法である CT-Bound を紹介します。
提案されたアーキテクチャは、境界推定をローカル検出とグローバル正則化という 2 つのタスクに分解します。
局所検出中、モデルは畳み込みアーキテクチャを使用して、事前定義された局所境界表現である結合領域 (FoJ) の形式で各画像パッチの境界構造を予測します。
次に、フィードフォワード変換アーキテクチャを使用して各パッチの境界構造をグローバルに調整し、エッジ マップと平滑化されたカラー マップを同時に生成します。
私たちの定量的分析では、非常にノイズの多い画像のエッジ検出において、CT-Bound がこれまでの最高のアルゴリズムを上回っていることが示されています。
また、FoJ ベースの手法のエッジ検出精度も向上し、速度も 3 倍向上します。
最後に、CT-Bound が追加の微調整なしで実際にキャプチャされた画像上に境界マップとカラー マップを生成し、1 秒あたり 10 フレームでリアルタイムの境界マップとカラー マップ ビデオを生成できることを示します。

要約(オリジナル)

We present CT-Bound, a robust and fast boundary detection method for very noisy images using a hybrid Convolution and Transformer neural network. The proposed architecture decomposes boundary estimation into two tasks: local detection and global regularization. During the local detection, the model uses a convolutional architecture to predict the boundary structure of each image patch in the form of a pre-defined local boundary representation, the field-of-junctions (FoJ). Then, it uses a feed-forward transformer architecture to globally refine the boundary structures of each patch to generate an edge map and a smoothed color map simultaneously. Our quantitative analysis shows that CT-Bound outperforms the previous best algorithms in edge detection on very noisy images. It also increases the edge detection accuracy of FoJ-based methods while having a 3-time speed improvement. Finally, we demonstrate that CT-Bound can produce boundary and color maps on real captured images without extra fine-tuning and real-time boundary map and color map videos at ten frames per second.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google