Single Domain Generalization for Crowd Counting

要約

密度マップ回帰は、その有望な結果により、画像ベースの群衆カウントに広く採用されています。
ただし、このアプローチは、目に見えないシナリオのデータでテストすると、いわゆる「ドメイン シフト」問題と呼ばれる深刻なパフォーマンスの低下に悩まされることがよくあります。
この問題に対処するために、この研究では群衆カウントのための単一ドメイン一般化 (SDG) を調査します。
既存の SDG アプローチは主に画像の分類とセグメンテーションを目的としており、回帰の性質とラベルの曖昧さ (つまり、ピクセル レベルのグラウンド トゥルースがあいまい) のため、このケースに拡張することはほとんどできません。
私たちは、狭いソース分布に対しても効果的な新しい SDG アプローチである MPCount を提案します。
MPCount は、密度マップ回帰のさまざまな密度値を保存し、1 つのメモリ バンク、コンテンツ エラー マスク、および注意の一貫性損失のみを使用してドメイン不変の特徴を再構築します。
画像をグリッドに分割することで、ラベルの曖昧さを軽減する補助タスクとしてパッチごとの分類を採用します。
さまざまなデータセットでの広範な実験を通じて、狭いソース分布を特徴とするトレーニング データでは観察されなかった多様なシナリオの下で、MPCount が最先端技術と比較して計数精度を大幅に向上させることが示されました。
コードは https://github.com/Shimmer93/MPCount で入手できます。

要約(オリジナル)

Due to its promising results, density map regression has been widely employed for image-based crowd counting. The approach, however, often suffers from severe performance degradation when tested on data from unseen scenarios, the so-called ‘domain shift’ problem. To address the problem, we investigate in this work single domain generalization (SDG) for crowd counting. The existing SDG approaches are mainly for image classification and segmentation, and can hardly be extended to our case due to its regression nature and label ambiguity (i.e., ambiguous pixel-level ground truths). We propose MPCount, a novel effective SDG approach even for narrow source distribution. MPCount stores diverse density values for density map regression and reconstructs domain-invariant features by means of only one memory bank, a content error mask and attention consistency loss. By partitioning the image into grids, it employs patch-wise classification as an auxiliary task to mitigate label ambiguity. Through extensive experiments on different datasets, MPCount is shown to significantly improve counting accuracy compared to the state of the art under diverse scenarios unobserved in the training data characterized by narrow source distribution. Code is available at https://github.com/Shimmer93/MPCount.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google