Detecting Line Segments in Motion-blurred Images with Events

要約

モーション ブラーの下で線分検出器の信頼性を高めることは、ビジュアル SLAM や 3D 再構成などの実用的なアプリケーションにとって最も重要な課題の 1 つです。
既存の線分検出方法は、モーション ブラーが発生したときに線分を正確に検出して位置を特定するための深刻なパフォーマンス低下に直面しています。
イベント データは、高時間解像度でのぼやけとエッジ認識を最小限に抑えるために画像を補完する強力な特性を示しますが、信頼性の高い線分認識に役立つ可能性があります。
モーションブラー上で線分を確実に検出するために、画像とイベントの補完的な情報を活用することを提案します。
これを達成するために、最初に一般的なフレーム イベント機能融合ネットワークを設計し、詳細な画像テクスチャと低遅延イベント エッジを抽出して融合します。これは、チャネル アテンション ベースの浅い融合モジュールと自己アテンション ベースのデュアルで構成されます
砂時計モジュール。
次に、2 つの最先端のワイヤーフレーム解析ネットワークを利用して、融合した特徴マップ上の線分を検出します。
さらに、線分検出のための合成で現実的なデータセット、つまり FE-Wireframe と FE-Blurframe を、ペアワイズ モーション ブラー画像とイベントと共に提供します。
両方のデータセットでの広範な実験により、提案された方法の有効性が実証されています。
実際のデータセットでテストした場合、FE-Wireframe で事前トレーニングされ、FE-Blurframe で微調整されたモデルで 63.3% の平均構造平均精度 (mSAP) を実現し、トレーニング済みモデルと比較して 32.6 ポイントと 11.3 ポイント改善されました。
それぞれ合成のみと本物のみ。
コード、データセット、およびトレーニング済みモデルは、https://levenberg.github.io/FE-LSD でリリースされています。

要約(オリジナル)

Making line segment detectors more reliable under motion blurs is one of the most important challenges for practical applications, such as visual SLAM and 3D reconstruction. Existing line segment detection methods face severe performance degradation for accurately detecting and locating line segments when motion blur occurs. While event data shows strong complementary characteristics to images for minimal blur and edge awareness at high-temporal resolution, potentially beneficial for reliable line segment recognition. To robustly detect line segments over motion blurs, we propose to leverage the complementary information of images and events. To achieve this, we first design a general frame-event feature fusion network to extract and fuse the detailed image textures and low-latency event edges, which consists of a channel-attention-based shallow fusion module and a self-attention-based dual hourglass module. We then utilize two state-of-the-art wireframe parsing networks to detect line segments on the fused feature map. Besides, we contribute a synthetic and a realistic dataset for line segment detection, i.e., FE-Wireframe and FE-Blurframe, with pairwise motion-blurred images and events. Extensive experiments on both datasets demonstrate the effectiveness of the proposed method. When tested on the real dataset, our method achieves 63.3% mean structural average precision (msAP) with the model pre-trained on the FE-Wireframe and fine-tuned on the FE-Blurframe, improved by 32.6 and 11.3 points compared with models trained on synthetic only and real only, respectively. The codes, datasets, and trained models are released at: https://levenberg.github.io/FE-LSD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google