Event Collapse in Contrast Maximization Frameworks

要約

コントラスト最大化（CMax）は、エゴモーションやオプティカルフロー推定などのいくつかのイベントベースのコンピュータービジョンタスクで最先端の結果を提供するフレームワークです。
ただし、イベントの崩壊と呼ばれる問題が発生する可能性があります。これは、イベントが少なすぎるピクセルにワープされるという望ましくない解決策です。
以前の作業ではこの問題や提案された回避策がほとんど無視されていたため、この現象を詳細に分析することが不可欠です。
私たちの仕事は、イベントの崩壊を最も単純な形で示し、微分幾何学と物理学に基づく時空変形の第一原理を使用して崩壊の測定基準を提案します。
公開されているデータセットで、提案されたメトリックがイベントの崩壊を軽減し、適切なワープに害を及ぼさないことを実験的に示します。
私たちの知る限りでは、提案されたメトリックに基づくレギュラライザーは、他の方法と比較して、検討された実験設定でのイベント崩壊に対する唯一の効果的なソリューションです。
この研究が、より複雑なワープモデルに取り組むためのさらなる研究を刺激することを願っています。

要約(オリジナル)

Contrast maximization (CMax) is a framework that provides state-of-the-art results on several event-based computer vision tasks, such as ego-motion or optical flow estimation. However, it may suffer from a problem called event collapse, which is an undesired solution where events are warped into too few pixels. As prior works have largely ignored the issue or proposed workarounds, it is imperative to analyze this phenomenon in detail. Our work demonstrates event collapse in its simplest form and proposes collapse metrics by using first principles of space-time deformation based on differential geometry and physics. We experimentally show on publicly available datasets that the proposed metrics mitigate event collapse and do not harm well-posed warps. To the best of our knowledge, regularizers based on the proposed metrics are the only effective solution against event collapse in the experimental settings considered, compared with other methods. We hope that this work inspires further research to tackle more complex warp models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google