Gait Recognition from Highly Compressed Videos

要約

監視映像は、歩行分析を実施するための貴重なリソースと機会を表します。
ただし、このような映像の典型的な低品質と高ノイズ レベルは、信頼性の高い歩行分析の基礎となる姿勢推定アルゴリズムの精度に重大な影響を与える可能性があります。
既存の文献では、姿勢推定の有効性とその後の歩行分析結果との間に直接の相関関係があることが示唆されています。
一般的な緩和戦略には、ノイズの多いデータに対する姿勢推定モデルを微調整して堅牢性を向上させることが含まれます。
ただし、このアプローチでは、元の高品質データに対する下流モデルのパフォーマンスが低下する可能性があり、実際には望ましくないトレードオフが発生します。
姿勢推定の前に監視映像を前処理および強化するように特別に設計された、タスクを対象としたアーティファクト補正モデルを組み込んだ処理パイプラインを提案します。
当社のアーティファクト補正モデルは、姿勢推定モデルを繰り返し微調整する必要がなく、最先端の姿勢推定ネットワークである HRNet と連携して動作するように最適化されています。
さらに、アーティファクト補正モデルをトレーニングする目的で、自動的にポーズの注釈が付けられた低品質のビデオを取得するためのシンプルで堅牢な方法を提案します。
私たちは、ノイズの多い監視データの範囲に対してアーティファクト補正モデルのパフォーマンスを体系的に評価し、私たちのアプローチが低品質の監視映像で改善された姿勢推定を達成するだけでなく、高解像度映像で姿勢推定の完全性を維持することを実証します。
私たちの実験では、歩行分析のパフォーマンスが明らかに向上していることが示されており、直接的な微調整戦略に代わる優れた代替手段として、提案された方法の実現可能性が裏付けられています。
私たちの貢献により、データの品質に関係なく、実世界のアプリケーションで監視データを使用した、より信頼性の高い歩行分析への道が開かれます。

要約(オリジナル)

Surveillance footage represents a valuable resource and opportunities for conducting gait analysis. However, the typical low quality and high noise levels in such footage can severely impact the accuracy of pose estimation algorithms, which are foundational for reliable gait analysis. Existing literature suggests a direct correlation between the efficacy of pose estimation and the subsequent gait analysis results. A common mitigation strategy involves fine-tuning pose estimation models on noisy data to improve robustness. However, this approach may degrade the downstream model’s performance on the original high-quality data, leading to a trade-off that is undesirable in practice. We propose a processing pipeline that incorporates a task-targeted artifact correction model specifically designed to pre-process and enhance surveillance footage before pose estimation. Our artifact correction model is optimized to work alongside a state-of-the-art pose estimation network, HRNet, without requiring repeated fine-tuning of the pose estimation model. Furthermore, we propose a simple and robust method for obtaining low quality videos that are annotated with poses in an automatic manner with the purpose of training the artifact correction model. We systematically evaluate the performance of our artifact correction model against a range of noisy surveillance data and demonstrate that our approach not only achieves improved pose estimation on low-quality surveillance footage, but also preserves the integrity of the pose estimation on high resolution footage. Our experiments show a clear enhancement in gait analysis performance, supporting the viability of the proposed method as a superior alternative to direct fine-tuning strategies. Our contributions pave the way for more reliable gait analysis using surveillance data in real-world applications, regardless of data quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google