Tracking Different Ant Species: An Unsupervised Domain Adaptation Framework and a Dataset for Multi-object Tracking

要約

個人の追跡は、集団の行動を理解するために行われる多くの実験の重要な部分です。
アリはこのような実験の典型的なモデル系ですが、アリには個別に区別できる視覚的特徴がなく、コロニー密度が高いため、信頼性の高い追跡を自動的に実行することが非常に困難です。
さらに、それらの種の外観の多様性は、一般化されたアプローチをさらに困難にします。
この論文では、必要な一般化を達成するために初めてドメイン適応を採用したデータ駆動型マルチオブジェクト トラッカーを提案します。
このアプローチは、検出および追跡の共同フレームワークに基づいて構築されており、追跡損失に加えて敵対的トレーニング戦略を統合する一連のドメイン弁別モジュールによって拡張されます。
この新しいドメイン適応追跡フレームワークに加えて、アリ追跡問題の新しいデータセットとベンチマークを紹介します。
データセットには、完全な軌跡の注釈が付いた 57 のビデオ シーケンスが含まれており、これには、異なる背景パターン上を移動する 2 つの異なるアリからキャプチャされた 30,000 フレームが含まれます。
これは、ソース ドメインとターゲット ドメインのそれぞれ 33 と 24 の配列で構成されます。
このデータセットを使用して、提案したフレームワークを他のドメイン適応型および非ドメイン適応型マルチオブジェクト追跡ベースラインと比較し、追跡パイプラインの複数のレベルでドメイン適応を組み込むことで大幅な改善が得られることを示します。
コードとデータセットは https://github.com/chamathabeysinghe/da-tracker で入手できます。

要約(オリジナル)

Tracking individuals is a vital part of many experiments conducted to understand collective behaviour. Ants are the paradigmatic model system for such experiments but their lack of individually distinguishing visual features and their high colony densities make it extremely difficult to perform reliable tracking automatically. Additionally, the wide diversity of their species’ appearances makes a generalized approach even harder. In this paper, we propose a data-driven multi-object tracker that, for the first time, employs domain adaptation to achieve the required generalisation. This approach is built upon a joint-detection-and-tracking framework that is extended by a set of domain discriminator modules integrating an adversarial training strategy in addition to the tracking loss. In addition to this novel domain-adaptive tracking framework, we present a new dataset and a benchmark for the ant tracking problem. The dataset contains 57 video sequences with full trajectory annotation, including 30k frames captured from two different ant species moving on different background patterns. It comprises 33 and 24 sequences for source and target domains, respectively. We compare our proposed framework against other domain-adaptive and non-domain-adaptive multi-object tracking baselines using this dataset and show that incorporating domain adaptation at multiple levels of the tracking pipeline yields significant improvements. The code and the dataset are available at https://github.com/chamathabeysinghe/da-tracker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google