Diffuse-Denoise-Count: Accurate Crowd-Counting with Diffusion Models

要約

群衆カウントは群衆分析の重要な側面であり、通常は群衆密度マップを推定し、密度値を合計することによって達成されます。
ただし、このアプローチでは、グラウンド トゥルース密度マップを作成するためにブロード ガウス カーネルを使用するため、バックグラウンド ノイズの蓄積と密度の損失が発生します。
この問題は、ガウス カーネルを狭くすることで解決できます。
ただし、既存のアプローチは、そのようなグラウンド トゥルース密度マップを使用してトレーニングすると、パフォーマンスが低下します。
この制限を克服するために、条件付き拡散モデルを使用して密度マップを予測することを提案します。これは、拡散モデルが複雑な分布を適切にモデル化し、群集密度マップの生成中にトレーニング データに対して高い忠実度を示すことが知られているためです。
さらに、拡散プロセスの中間タイム ステップにはノイズが多いため、特徴学習を改善するためにトレーニング中にのみ直接群衆推定のための回帰分岐を組み込みます。
さらに、拡散モデルの確率的性質により、既存の群衆カウント パイプラインとは対照的に、カウントのパフォーマンスを向上させるために複数の密度マップの作成を導入します。
さらに、密度の合計とは異なり、バックグラウンド ノイズの影響をより受けにくい、カウント操作として輪郭検出とその後の合計を導入します。
私たちは、手法の有効性を検証するために、公開データセットに対して広範な実験を実施しています。
具体的には、新しい群衆カウント パイプラインにより、群衆カウントの誤差が JHU-CROWD++ で最大 $6\%$、UCF-QNRF で最大 $7\%$ 改善されます。

要約(オリジナル)

Crowd counting is a key aspect of crowd analysis and has been typically accomplished by estimating a crowd-density map and summing over the density values. However, this approach suffers from background noise accumulation and loss of density due to the use of broad Gaussian kernels to create the ground truth density maps. This issue can be overcome by narrowing the Gaussian kernel. However, existing approaches perform poorly when trained with such ground truth density maps. To overcome this limitation, we propose using conditional diffusion models to predict density maps, as diffusion models are known to model complex distributions well and show high fidelity to training data during crowd-density map generation. Furthermore, as the intermediate time steps of the diffusion process are noisy, we incorporate a regression branch for direct crowd estimation only during training to improve the feature learning. In addition, owing to the stochastic nature of the diffusion model, we introduce producing multiple density maps to improve the counting performance contrary to the existing crowd counting pipelines. Further, we also differ from the density summation and introduce contour detection followed by summation as the counting operation, which is more immune to background noise. We conduct extensive experiments on public datasets to validate the effectiveness of our method. Specifically, our novel crowd-counting pipeline improves the error of crowd-counting by up to $6\%$ on JHU-CROWD++ and up to $7\%$ on UCF-QNRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google