RatBodyFormer: Rodent Body Surface from Keypoints

要約

ラットの行動モデリングは多くの科学研究の中心となっているが、テクスチャーのない体表面には文字通り検出器が見つけられるキーポイントがないため、自動分析を回避している。
しかし、体表面の動きは、ラットの行動を解読するための豊富な情報源です。
高密度で 3D サンプリングされたラット体表面ポイントを受動的に自動的に回復するための 2 つの重要な貢献を紹介します。
1 つ目は、ラットの行動をキャプチャするための新しいマルチカメラ システムである RatDome と、それによってキャプチャされた 3D キーポイントと 3D 体表面ポイントのペアで構成される大規模なデータセットです。
2 つ目は、検出されたキーポイントを 3D 体表面ポイントに変換する新しいネットワークである RatBodyFormer です。
RatBodyFormer は、トレーニング データ内の 3D 体表面ポイントの正確な位置に依存せず、マスク学習でトレーニングされます。
私たちは実際の実験を数多く行ってフレームワークを実験的に検証します。
私たちの結果は集合的に自動化されたラットの行動分析の新たな基盤として機能し、生物医学および神経科学の研究に広範な影響を与える可能性があります。

要約(オリジナル)

Rat behavior modeling goes to the heart of many scientific studies, yet the textureless body surface evades automatic analysis as it literally has no keypoints that detectors can find. The movement of the body surface, however, is a rich source of information for deciphering the rat behavior. We introduce two key contributions to automatically recover densely 3D sampled rat body surface points, passively. The first is RatDome, a novel multi-camera system for rat behavior capture, and a large-scale dataset captured with it that consists of pairs of 3D keypoints and 3D body surface points. The second is RatBodyFormer, a novel network to transform detected keypoints to 3D body surface points. RatBodyFormer is agnostic to the exact locations of the 3D body surface points in the training data and is trained with masked-learning. We experimentally validate our framework with a number of real-world experiments. Our results collectively serve as a novel foundation for automated rat behavior analysis and will likely have far-reaching implications for biomedical and neuroscientific research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google