Keypoint Detection and Description for Raw Bayer Images

要約

キーポイント検出とローカル機能の説明は、ロボット認識の基本的なタスクであり、スラム、ロボットローカリゼーション、機能マッチング、ポーズ推定、3Dマッピングなどのアプリケーションにとって重要です。
既存のメソッドは主にRGB画像で動作しますが、RAW画像を直接処理する新しいネットワークを提案し、画像信号プロセッサ（ISP）の必要性をバイパスします。
このアプローチは、ロボットビジョンシステムにとって重要なハードウェアの要件とメモリ消費を大幅に削減します。
私たちの方法では、RGBに変換せずにチャネル間情報を保存することができる2つのカスタム設計された畳み込み媒介性を生の画像で直接実行することができます。
実験結果は、ネットワークが生の画像上の既存のアルゴリズムを上回り、大きな回転とスケールのバリエーションでより高い精度と安定性を達成することを示しています。
この作業は、RAW画像向けに特にキーポイント検出と機能の説明ネットワークを開発する最初の試みを表しており、リソースに制約のある環境向けのより効率的なソリューションを提供します。

要約(オリジナル)

Keypoint detection and local feature description are fundamental tasks in robotic perception, critical for applications such as SLAM, robot localization, feature matching, pose estimation, and 3D mapping. While existing methods predominantly operate on RGB images, we propose a novel network that directly processes raw images, bypassing the need for the Image Signal Processor (ISP). This approach significantly reduces hardware requirements and memory consumption, which is crucial for robotic vision systems. Our method introduces two custom-designed convolutional kernels capable of performing convolutions directly on raw images, preserving inter-channel information without converting to RGB. Experimental results show that our network outperforms existing algorithms on raw images, achieving higher accuracy and stability under large rotations and scale variations. This work represents the first attempt to develop a keypoint detection and feature description network specifically for raw images, offering a more efficient solution for resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google