Fine-grained Domain Adaptive Crowd Counting via Point-derived Segmentation

要約

タイトル：Point-derived Segmentationを用いた粒度の細かい領域適応型人群カウント法

要約：
– ワイルドな環境下で訓練された人群カウントモデルを展開するとき、ドメインシフトのため大幅な性能低下がしばしば見られる。
– 従来の領域適応型人群カウント法は有望な結果を示しているが、各人群画像を全体として扱い、ホリスティックな方法でドメインの違いを減らすことにより、領域適応性能のさらなる向上を制限している。
– このため、本研究では人群画像からドメイン不変の人群とドメイン特異的な背景を分離し、領域適応型人群カウント法を細かく設計することを提案する。
– 具体的には、人群を背景から分離するために、弱い教師付き方針で、ポイントレベルの人群カウント注釈から人群分割を学習することを提案する。
– 得られた分割に基づいて、背景の混乱を超えてドメイン間で人群特徴の伝達を指導するためにCrowd Region Transfer(CRT)、および目的ドメイン人群密度生成を自身の人群密度分布によって正規化するためのCrowd Density Alignment(CDA)の2つのCrowd-aware適応モジュールで構成される人群認識型領域適応メカニズムを設計する。
– 本研究で提案する方法は、広く使用される適応シナリオで過去のアプローチを一貫して上回る結果を達成する。

要約(オリジナル)

Due to domain shift, a large performance drop is usually observed when a trained crowd counting model is deployed in the wild. While existing domain-adaptive crowd counting methods achieve promising results, they typically regard each crowd image as a whole and reduce domain discrepancies in a holistic manner, thus limiting further improvement of domain adaptation performance. To this end, we propose to untangle \emph{domain-invariant} crowd and \emph{domain-specific} background from crowd images and design a fine-grained domain adaption method for crowd counting. Specifically, to disentangle crowd from background, we propose to learn crowd segmentation from point-level crowd counting annotations in a weakly-supervised manner. Based on the derived segmentation, we design a crowd-aware domain adaptation mechanism consisting of two crowd-aware adaptation modules, i.e., Crowd Region Transfer (CRT) and Crowd Density Alignment (CDA). The CRT module is designed to guide crowd features transfer across domains beyond background distractions. The CDA module dedicates to regularising target-domain crowd density generation by its own crowd density distribution. Our method outperforms previous approaches consistently in the widely-used adaptation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI