Person Recognition at Altitude and Range: Fusion of Face, Body Shape and Gait

要約

制約のない環境における全身の人認識の問題に対処します。
この問題は、高度および範囲（BRIAR）プログラムでのIARPA生体認識と識別のような監視シナリオで発生します。ここでは、生体認証データが長いスタンドオフ距離、上昇した視聴角、および有害な大気条件（乱流や強風速度など）でキャプチャされます。
この目的のために、顔、歩行、身体形状のモダリティ全体に補完的な生体認証キューを統合する個人認識のための統一されたエンドツーエンドシステムであるFarsightを提案します。
Farsightには、マルチサブジェクトの検出と追跡、認識対象ビデオ修復、モダリティ固有の生体認証機能エンコーディング、品質誘導マルチモーダル融合の4つのコアモジュールに新しいアルゴリズムが組み込まれています。
これらのコンポーネントは、劣化した画像条件、大きなポーズとスケールのバリエーション、およびクロスドメインのギャップの下でまとまりに機能するように設計されています。
長距離のマルチモーダル生体認識のための最も包括的なベンチマークの1つであるBriarデータセットに関する広範な実験は、Farsightの有効性を示しています。
予備システムと比較して、このシステムは、1：1の検証精度（TAR@0.1% Far）で34.1％の絶対的な増加、クローズドセット識別の17.8％の増加（RANK-20）、およびオープンセット識別エラー（FNIR@1％FPIR）の34.3％の減少を達成します。
さらに、Briarデータセットで標準化された顔認識テストを実施するビデオ評価（5）の2025 NIST RTEフェイスでFarsightが評価されました。
これらの結果は、挑戦的な現実世界条件における運用上の生体認識のための最先端のソリューションとしてのFarSightを確立します。

要約(オリジナル)

We address the problem of whole-body person recognition in unconstrained environments. This problem arises in surveillance scenarios such as those in the IARPA Biometric Recognition and Identification at Altitude and Range (BRIAR) program, where biometric data is captured at long standoff distances, elevated viewing angles, and under adverse atmospheric conditions (e.g., turbulence and high wind velocity). To this end, we propose FarSight, a unified end-to-end system for person recognition that integrates complementary biometric cues across face, gait, and body shape modalities. FarSight incorporates novel algorithms across four core modules: multi-subject detection and tracking, recognition-aware video restoration, modality-specific biometric feature encoding, and quality-guided multi-modal fusion. These components are designed to work cohesively under degraded image conditions, large pose and scale variations, and cross-domain gaps. Extensive experiments on the BRIAR dataset, one of the most comprehensive benchmarks for long-range, multi-modal biometric recognition, demonstrate the effectiveness of FarSight. Compared to our preliminary system, this system achieves a 34.1% absolute gain in 1:1 verification accuracy (TAR@0.1% FAR), a 17.8% increase in closed-set identification (Rank-20), and a 34.3% reduction in open-set identification errors (FNIR@1% FPIR). Furthermore, FarSight was evaluated in the 2025 NIST RTE Face in Video Evaluation (FIVE), which conducts standardized face recognition testing on the BRIAR dataset. These results establish FarSight as a state-of-the-art solution for operational biometric recognition in challenging real-world conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google