Towards Privacy-Supporting Fall Detection via Deep Unsupervised RGB2Depth Adaptation

要約

転倒検出は健康状態監視において重要なタスクです。転倒検出により、システムがアラートをトリガーできるため、転倒が発生した場合に迅速な介入が可能になります。
これまでのアプローチのほとんどは標準の RGB ビデオ データに依存していますが、このような外観を意識した詳細な監視はプライバシーに関する重大な懸念を引き起こします。
一方、深度センサーは、センサーまたはカメラから物体の距離を取得するだけで、色やテクスチャ情報は省略されるため、プライバシーの保護に優れています。
この論文では、RGB トレーニング済みモデルを深度領域に適用できるようにし、テスト時に落下検出のために深度データを利用する、プライバシーをサポートするソリューションを紹介します。
クロスモーダル転倒検出を実現するために、トレーニング中にラベル付き RGB データとラベルなし深度データを活用する、教師なし RGB to Depth (RGB2Depth) クロスモーダル ドメイン適応アプローチを紹介します。
私たちが提案するパイプラインには、特徴ブリッジングのための中間ドメイン モジュール、モダリティ識別のためのモダリティ敵対的損失、擬似ラベル付き深度データとラベル付きソース データのための分類損失、ソース ドメインとターゲット ドメインの両方を考慮したトリプレット損失、および新しい適応損失重み調整方法が組み込まれています。
さまざまな損失間の調整を改善します。
私たちのアプローチは、転倒検出のための教師なし RGB2Depth ドメイン適応タスクで最先端の結果を達成します。
コードは https://github.com/1015206533/privacy_supporting_fall_detection で入手できます。

要約(オリジナル)

Fall detection is a vital task in health monitoring, as it allows the system to trigger an alert and therefore enabling faster interventions when a person experiences a fall. Although most previous approaches rely on standard RGB video data, such detailed appearance-aware monitoring poses significant privacy concerns. Depth sensors, on the other hand, are better at preserving privacy as they merely capture the distance of objects from the sensor or camera, omitting color and texture information. In this paper, we introduce a privacy-supporting solution that makes the RGB-trained model applicable in depth domain and utilizes depth data at test time for fall detection. To achieve cross-modal fall detection, we present an unsupervised RGB to Depth (RGB2Depth) cross-modal domain adaptation approach that leverages labelled RGB data and unlabelled depth data during training. Our proposed pipeline incorporates an intermediate domain module for feature bridging, modality adversarial loss for modality discrimination, classification loss for pseudo-labeled depth data and labeled source data, triplet loss that considers both source and target domains, and a novel adaptive loss weight adjustment method for improved coordination among various losses. Our approach achieves state-of-the-art results in the unsupervised RGB2Depth domain adaptation task for fall detection. Code is available at https://github.com/1015206533/privacy_supporting_fall_detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google