I Can’t Believe It’s Not Scene Flow!

要約

現在のシーン フロー手法は、小さなオブジェクトの動きを記述することに広く失敗しており、現在のシーン フロー評価プロトコルは、描画された大きなオブジェクトのほとんどについて、多くの点にわたって平均化することでこの欠陥を隠しています。
この評価の失敗を修正するために、クラス認識および速度正規化された新しい評価プロトコルであるバケット正規化 EPE を提案します。これにより、大幅に異なる速度で移動するオブジェクト タイプ間のコンテキストに応じたエラー比較が可能になります。
現在のメソッドの失敗を強調するために、イライラするほどシンプルな教師ありシーン フロー ベースラインである TrackFlow を提案します。これは、高品質の事前トレーニング済み検出器 (多くのクラス リバランス手法を使用してトレーニング済み) をシンプルなトラッカーにボルトで固定することで構築され、最先端のパフォーマンスを生み出します。
現在の標準的な評価と、我々の新しい評価による従来技術に対する大幅な改善について。
私たちの結果から、すべてのシーン フロー評価はクラスと速度を意識する必要があり、教師ありシーン フロー手法はポイント クラスの不均衡に対処する必要があることが明らかです。
評価コードは https://github.com/kylevedder/BucketedSceneFlowEval で公開します。

要約(オリジナル)

Current scene flow methods broadly fail to describe motion on small objects, and current scene flow evaluation protocols hide this failure by averaging over many points, with most drawn larger objects. To fix this evaluation failure, we propose a new evaluation protocol, Bucket Normalized EPE, which is class-aware and speed-normalized, enabling contextualized error comparisons between object types that move at vastly different speeds. To highlight current method failures, we propose a frustratingly simple supervised scene flow baseline, TrackFlow, built by bolting a high-quality pretrained detector (trained using many class rebalancing techniques) onto a simple tracker, that produces state-of-the-art performance on current standard evaluations and large improvements over prior art on our new evaluation. Our results make it clear that all scene flow evaluations must be class and speed aware, and supervised scene flow methods must address point class imbalances. We release the evaluation code publicly at https://github.com/kylevedder/BucketedSceneFlowEval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google