PMI Sampler: Patch similarity guided frame selection for Aerial Action Recognition

要約

タイトル：PMI Sampler：空中アクション認識のためのパッチ類似性に基づくフレーム選択

要約：

– 空中カメラでキャプチャされたビデオを対象としたアルゴリズムで、情報量の多いフレームを認識するためのアルゴリズムが提案された。
– 空中映像に内在するモーションバイアスを利用し、動きの目立つフレームを選択するための「パッチ相互情報（PMI）スコア」を導入した。
– PMIスコアは、フレーム間のパッチの類似性を測定してフレーム間のモーションバイアスを評価する。
– シフトされたリークReLUと累積分布関数を使用した適応フレーム選択戦略を導入し、高いモーションサリエンスを持つすべての重要なセグメントを包括的にカバーすることを保証する。
– 提案システムは、アクション認識モデルに統合され、その精度を向上させることができる。
– UAV-Human、NEC Drone、Diving48のデータセットで、トップ1精度において、2.2-13.8％の相対的な改善が実現された。

要約(オリジナル)

We present a new algorithm for selection of informative frames in video action recognition. Our approach is designed for aerial videos captured using a moving camera where human actors occupy a small spatial resolution of video frames. Our algorithm utilizes the motion bias within aerial videos, which enables the selection of motion-salient frames. We introduce the concept of patch mutual information (PMI) score to quantify the motion bias between adjacent frames, by measuring the similarity of patches. We use this score to assess the amount of discriminative motion information contained in one frame relative to another. We present an adaptive frame selection strategy using shifted leaky ReLu and cumulative distribution function, which ensures that the sampled frames comprehensively cover all the essential segments with high motion salience. Our approach can be integrated with any action recognition model to enhance its accuracy. In practice, our method achieves a relative improvement of 2.2 – 13.8% in top-1 accuracy on UAV-Human, 6.8% on NEC Drone, and 9.0% on Diving48 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI