Closing the Gap in Human Behavior Analysis: A Pipeline for Synthesizing Trimodal Data

要約

広範な機械学習、特に人間行動分析（HBA）では、RGBはそのアクセスのしやすさと情報の豊富さから、主要なモダリティとなっている。しかし、その利点と関連して、照明条件に対する感度やプライバシーの懸念などの課題がある。これらの脆弱性を克服する一つの可能性は、異なるモダリティに頼ることである。例えば、熱画像は特に人の形を強調するのに長けており、深度画像は重要なコンテクストのレイヤーを追加する。これらの利点が知られているにもかかわらず、これらのモダリティを統合したHBA固有のデータセットはわずかしか存在しない。この不足に対処するため、我々の研究では、RGB、サーマル、深度の3モダルの、人間に焦点を当てたデータセットを作成するための新しい生成技術を紹介する。この技法は、RGB画像から得られる人間のセグメンテーションマスクと、自動的に取得される熱画像と深度背景を組み合わせて利用する。この2つの要素を用いて、既存のRGBデータから、条件付き画像間変換を利用して深度と熱を合成する。このアプローチを採用することで、限られたデータ、悪い雷条件、プライバシーに敏感なエリアなどの設定に対応するモデルの学習に活用できる三次元データを生成する。

要約(オリジナル)

In pervasive machine learning, especially in Human Behavior Analysis (HBA), RGB has been the primary modality due to its accessibility and richness of information. However, linked with its benefits are challenges, including sensitivity to lighting conditions and privacy concerns. One possibility to overcome these vulnerabilities is to resort to different modalities. For instance, thermal is particularly adept at accentuating human forms, while depth adds crucial contextual layers. Despite their known benefits, only a few HBA-specific datasets that integrate these modalities exist. To address this shortage, our research introduces a novel generative technique for creating trimodal, i.e., RGB, thermal, and depth, human-focused datasets. This technique capitalizes on human segmentation masks derived from RGB images, combined with thermal and depth backgrounds that are sourced automatically. With these two ingredients, we synthesize depth and thermal counterparts from existing RGB data utilizing conditional image-to-image translation. By employing this approach, we generate trimodal data that can be leveraged to train models for settings with limited data, bad lightning conditions, or privacy-sensitive areas.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL