Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior

要約

生態学、生物学、神経科学などの多くの分野では、動物の行動を追跡および測定するために動物の記録が使用されています。
時間が経つにつれて、このようなデータは大量に生成されますが、一部のコンピューター ビジョン技術では、注釈が不足しているため、データを調査できません。
これに対処するために、事前に合成的に生成された経験的な姿勢を使用して、ラベルのない画像から 2D マウスの体の姿勢を推定するアプローチを提案します。
私たちの提案は、GAN フレームワーク内で単一の画像とペアになっていない典型的な 2D ポーズのセットを使用する、2D 人間のポーズを推定するための最近の自己教師あり手法に基づいています。
この方法をマウスの四肢構造に適応させ、合成 3D マウス モデルから 2D ポーズの経験的事前分布を生成することで、手動による注釈を回避します。
新しいマウスのビデオ データセットの実験では、姿勢予測を手動で取得したグランド トゥルースと比較することで、アプローチのパフォーマンスを評価します。
また、動物の姿勢を推定するための教師付きの最先端の方法による予測と比較します。
後者の評価は、ペアになったトレーニング データがないにもかかわらず、有望な結果を示しています。
最後に、馬の画像のデータセットを使用した定性的な結果は、この設定が他の動物種に適応する可能性があることを示しています。

要約(オリジナル)

Numerous fields, such as ecology, biology, and neuroscience, use animal recordings to track and measure animal behaviour. Over time, a significant volume of such data has been produced, but some computer vision techniques cannot explore it due to the lack of annotations. To address this, we propose an approach for estimating 2D mouse body pose from unlabelled images using a synthetically generated empirical pose prior. Our proposal is based on a recent self-supervised method for estimating 2D human pose that uses single images and a set of unpaired typical 2D poses within a GAN framework. We adapt this method to the limb structure of the mouse and generate the empirical prior of 2D poses from a synthetic 3D mouse model, thereby avoiding manual annotation. In experiments on a new mouse video dataset, we evaluate the performance of the approach by comparing pose predictions to a manually obtained ground truth. We also compare predictions with those from a supervised state-of-the-art method for animal pose estimation. The latter evaluation indicates promising results despite the lack of paired training data. Finally, qualitative results using a dataset of horse images show the potential of the setting to adapt to other animal species.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google