Semi-Supervised Crowd Counting from Unlabeled Data

要約

自動群衆行動分析を適用すると、日常の交通統計や計画に効果的に役立ち、スマートシティの構築に役立ちます。
最も重要な鍵の 1 つとして、群衆カウントがますます注目を集めています。
最近の作品は有望なパフォーマンスを達成しましたが、高価な群集アノテーションを使用した教師ありパラダイムに依存していました。
現実世界の交通シナリオにおけるアノテーションのコストを軽減するために、この研究では、ラベルなし/ラベル付きデータの両方を活用して堅牢な群衆カウントを実現できる半教師あり学習フレームワーク $S^{4}\textit{Crowd}$ を提案しました。
教師なし経路では、スケールや照明などの群衆の変動をシミュレートするために 2 つの \textit{自己教師あり損失} が提案され、それに基づいて教師あり情報の疑似ラベルが生成され、徐々に洗練されます。
また、群集駆動型リカレント ユニット \textit{Gated-Crowd-Recurrent-Unit (GCRU)} も提案しました。これは、二次統計を抽出することで判別群情報を保存し、品質が向上した疑似ラベルを生成します。
教師なし情報と教師あり情報の両方を含む結合損失が提案され、さまざまなトレーニング段階で教師なし損失と教師あり損失の重要性のバランスをとるために動的重み付け戦略が採用されました。
私たちは、半教師あり設定で 4 つの人気のある群衆カウント データセットに対して広範な実験を実施しました。
実験結果は、$S^{4}$Crowd フレームワークで提案された各コンポーネントの有効性を裏付けました。
私たちの手法は、これらの群衆カウント データセットに対する半教師あり学習アプローチで競争力のあるパフォーマンスを達成しました。

要約(オリジナル)

Automatic Crowd behavior analysis can be applied to effectively help the daily transportation statistics and planning, which helps the smart city construction. As one of the most important keys, crowd counting has drawn increasing attention. Recent works achieved promising performance but relied on the supervised paradigm with expensive crowd annotations. To alleviate the annotation cost in real-world transportation scenarios, in this work we proposed a semi-supervised learning framework $S^{4}\textit{Crowd}$, which can leverage both unlabeled/labeled data for robust crowd counting. In the unsupervised pathway, two \textit{self-supervised losses} were proposed to simulate the crowd variations such as scale, illumination, based on which supervised information pseudo labels were generated and gradually refined. We also proposed a crowd-driven recurrent unit \textit{Gated-Crowd-Recurrent-Unit (GCRU)}, which can preserve discriminant crowd information by extracting second-order statistics, yielding pseudo labels with improved quality. A joint loss including both unsupervised/supervised information was proposed, and a dynamic weighting strategy was employed to balance the importance of the unsupervised loss and supervised loss at different training stages. We conducted extensive experiments on four popular crowd counting datasets in semi-supervised settings. Experimental results supported the effectiveness of each proposed component in our $S^{4}$Crowd framework. Our method achieved competitive performance in semi-supervised learning approaches on these crowd counting datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google