Compute-first optical detection for noise-resilient visual perception

要約

視覚認識の文脈では、シーンからの光信号は、画像データの形式で検出器によって電子領域に転送され、その後、視覚情報を抽出するために処理されます。
ただし、暗視アプリケーションの熱画像処理などのノイズが多く信号が弱い環境では、ノイズ検出時のデータ品質の本質的な低下により、ニューラル コンピューティング タスクのパフォーマンスが重大なボトルネックに直面します。
ここでは、この問題に対処するために、検出前の光信号処理の概念を提案します。
MNIST 分類でベンチマークされたように、適切に設計された線形変換器を介して光信号を空間的に再分配すると、視覚認識タスクの検出ノイズ耐性が向上することを実証します。
私たちのアイデアは、信号集中とノイズ耐性の関係を詳述する定量的分析と、インコヒーレント イメージング システムでの実際の実装によって裏付けられています。
このコンピューティングファーストの検出スキームは、産業用途や防衛用途に広く使用されている赤外線マシン ビジョン テクノロジの進歩への道を切り開くことができます。

要約(オリジナル)

In the context of visual perception, the optical signal from a scene is transferred into the electronic domain by detectors in the form of image data, which are then processed for the extraction of visual information. In noisy and weak-signal environments such as thermal imaging for night vision applications, however, the performance of neural computing tasks faces a significant bottleneck due to the inherent degradation of data quality upon noisy detection. Here, we propose a concept of optical signal processing before detection to address this issue. We demonstrate that spatially redistributing optical signals through a properly designed linear transformer can enhance the detection noise resilience of visual perception tasks, as benchmarked with the MNIST classification. Our idea is supported by a quantitative analysis detailing the relationship between signal concentration and noise robustness, as well as its practical implementation in an incoherent imaging system. This compute-first detection scheme can pave the way for advancing infrared machine vision technologies widely used for industrial and defense applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google