Diffuse-Denoise-Count: Accurate Crowd-Counting with Diffusion Models

要約

群衆のカウントは、群衆分析の重要な側面であり、通常、群衆密度マップを推定し、密度値を合計することによって達成されています。
ただし、このアプローチでは、グラウンド トゥルース密度マップを作成するために幅広いガウス カーネルを使用するため、バックグラウンド ノイズの蓄積と密度の損失が発生します。
この問題は、ガウス カーネルを狭くすることで解決できます。
ただし、このようなグラウンド トゥルース密度マップでトレーニングすると、既存のアプローチのパフォーマンスは低下します。
この制限を克服するために、条件付き拡散モデルを使用して密度マップを予測することを提案します。これは、拡散モデルが複雑な分布を適切にモデル化し、群衆密度マップ生成中にトレーニング データに高い忠実度を示すことが知られているためです。
さらに、拡散プロセスの中間時間ステップはノイズが多いため、特徴学習を改善するために、トレーニング中にのみ直接群衆を推定するための回帰分岐を組み込みます。
さらに、拡散モデルの確率的性質により、複数の密度マップの生成を導入して、既存のクラウド カウント パイプラインとは対照的にカウント パフォーマンスを向上させます。
さらに、密度の合計とは異なり、カウント操作として輪郭検出とそれに続く合計を導入します。これにより、バックグラウンドノイズの影響を受けなくなります。
私たちの方法の有効性を検証するために、公開データセットで広範な実験を行います。
具体的には、私たちの新しい群衆カウント パイプラインは、群衆カウントのエラーを JHU-CROWD++ で最大 $6\%$、UCF-QNRF で最大 $7\%$ 改善します。

要約(オリジナル)

Crowd counting is a key aspect of crowd analysis and has been typically accomplished by estimating a crowd-density map and summing over the density values. However, this approach suffers from background noise accumulation and loss of density due to the use of broad Gaussian kernels to create the ground truth density maps. This issue can be overcome by narrowing the Gaussian kernel. However, existing approaches perform poorly when trained with such ground truth density maps. To overcome this limitation, we propose using conditional diffusion models to predict density maps, as diffusion models are known to model complex distributions well and show high fidelity to training data during crowd-density map generation. Furthermore, as the intermediate time steps of the diffusion process are noisy, we incorporate a regression branch for direct crowd estimation only during training to improve the feature learning. In addition, owing to the stochastic nature of the diffusion model, we introduce producing multiple density maps to improve the counting performance contrary to the existing crowd counting pipelines. Further, we also differ from the density summation and introduce contour detection followed by summation as the counting operation, which is more immune to background noise. We conduct extensive experiments on public datasets to validate the effectiveness of our method. Specifically, our novel crowd-counting pipeline improves the error of crowd-counting by up to $6\%$ on JHU-CROWD++ and up to $7\%$ on UCF-QNRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google