ReynoldsFlow: Exquisite Flow Estimation via Reynolds Transport Theorem

要約

光学フローは、動画の安定化、補間、およびオブジェクト追跡に広く適用される動き推定の基本的な手法です。
人工知能（AI）の最近の進歩により、深い学習モデルは、動き分析の重要な機能として光流量を活用することができました。
ただし、従来の光学フロー方法は、輝度の恒常性やスローモーションの制約などの制限的な仮定に依存しており、複雑なシーンでの有効性を制限しています。
ディープラーニングベースのアプローチでは、大規模なドメイン固有のデータセットに関する広範なトレーニングが必要であり、計算的に厳しいものにします。
さらに、光学フローは通常、HSVカラー空間で視覚化されます。これは、RGBに変換されたときに非線形歪みをもたらし、ノイズ、モーション表現の精度を低下させることに非常に敏感です。
これらの制限は、オブジェクトの追跡とモーション分析のタスクを妨げる可能性がある、下流モデルのパフォーマンスを本質的に制限します。
これらの課題に対処するために、レイノルズの輸送定理に触発された新しいトレーニングフリーフロー推定であるレイノルズフローを提案し、複雑なモーションダイナミクスをモデリングするための原則的なアプローチを提供します。
ReynoldsFlowと呼ばれる従来のHSVベースの視覚化を超えて、流れの視覚化を改善するように設計された代替表現であるReynoldsFlow+を紹介します。
3つのビデオベースのベンチマークでReynoldsFlowとReynoldsFlow+を評価します。UAVDBでの小さなオブジェクト検出、Anti-UAVでの赤外線検出、GolfDBでの推定のポーズ推定。
実験結果は、Reynoldsflow+でトレーニングされたネットワークが最先端の（SOTA）パフォーマンスを達成し、すべてのタスクで堅牢性と効率を改善することを示しています。

要約(オリジナル)

Optical flow is a fundamental technique for motion estimation, widely applied in video stabilization, interpolation, and object tracking. Recent advancements in artificial intelligence (AI) have enabled deep learning models to leverage optical flow as an important feature for motion analysis. However, traditional optical flow methods rely on restrictive assumptions, such as brightness constancy and slow motion constraints, limiting their effectiveness in complex scenes. Deep learning-based approaches require extensive training on large domain-specific datasets, making them computationally demanding. Furthermore, optical flow is typically visualized in the HSV color space, which introduces nonlinear distortions when converted to RGB and is highly sensitive to noise, degrading motion representation accuracy. These limitations inherently constrain the performance of downstream models, potentially hindering object tracking and motion analysis tasks. To address these challenges, we propose Reynolds flow, a novel training-free flow estimation inspired by the Reynolds transport theorem, offering a principled approach to modeling complex motion dynamics. Beyond the conventional HSV-based visualization, denoted ReynoldsFlow, we introduce an alternative representation, ReynoldsFlow+, designed to improve flow visualization. We evaluate ReynoldsFlow and ReynoldsFlow+ across three video-based benchmarks: tiny object detection on UAVDB, infrared object detection on Anti-UAV, and pose estimation on GolfDB. Experimental results demonstrate that networks trained with ReynoldsFlow+ achieve state-of-the-art (SOTA) performance, exhibiting improved robustness and efficiency across all tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google