Joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields

要約

自然の画像変換が受容野の反応に及ぼす影響は、コンピューター ビジョンや生物学的ビジョンにおける視覚操作のモデル化にとって重要です。
この点において、ビジュアル階層の最初の層における幾何学的画像変換に関する共分散特性は、ロバストな画像操作を表現し、より高いレベルで不変のビジュアル操作を定式化するために不可欠です。
この論文は、空間スケーリング変換、空間アフィン変換、ガリレオ変換、および時間スケーリング変換を組み合わせた一連の結合共分散特性を定義および証明します。これにより、さまざまなタイプの画像変換が互いにどのように相互作用するか、および関連する空間特性を特徴付けることが可能になります。
側頭受容野反応。
これに関連して、スケール正規化導関数の概念をアフィン正規化導関数に拡張し、アフィン ガウス カーネルを使用した空間平滑化に基づいて計算される空間導関数の真のアフィン共変特性を取得できるようにします。
導出された関係は、合成された時空間画像変換の下で時空間受容野からの出力と一致させるために、受容野のパラメーターがどのように変換される必要があるかを示しています。
副作用として、さまざまな幾何学的画像変換の統合された組み合わせに対する結合共分散特性について提示された証明は、これまで文献で十分に報告されていなかった個々の変換特性についての具体的な証明も提供します。
この論文では、導出された共分散特性の幾何学的解釈の詳細な理論的分析も提示し、これらの結果の多数の生物学的解釈の概要も示します。

要約(オリジナル)

The influence of natural image transformations on receptive field responses is crucial for modelling visual operations in computer vision and biological vision. In this regard, covariance properties with respect to geometric image transformations in the earliest layers of the visual hierarchy are essential for expressing robust image operations, and for formulating invariant visual operations at higher levels. This paper defines and proves a set of joint covariance properties under compositions of spatial scaling transformations, spatial affine transformations, Galilean transformations and temporal scaling transformations, which make it possible to characterize how different types of image transformations interact with each other and the associated spatio-temporal receptive field responses. In this regard, we also extend the notion of scale-normalized derivatives to affine-normalized derivatives, to be able to obtain true affine-covariant properties of spatial derivatives, that are computed based on spatial smoothing with affine Gaussian kernels. The derived relations show how the parameters of the receptive fields need to be transformed, in order to match the output from spatio-temporal receptive fields under composed spatio-temporal image transformations. As a side effect, the presented proof for the joint covariance property over the integrated combination of the different geometric image transformations also provides specific proofs for the individual transformation properties, which have not previously been fully reported in the literature. The paper also presents an in-depth theoretical analysis of geometric interpretations of the derived covariance properties, as well as outlines a number of biological interpretations of these results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google