Monkey Transfer Learning Can Improve Human Pose Estimation

要約

この研究では、マカクザルからの転移学習が人間の姿勢推定を改善できるかどうかを調査しました。
現在の最先端の姿勢推定技術は、多くの場合ディープ ニューラル ネットワークを使用しており、非臨床データセットにおける人間のアノテーションと一致させることができます。
ただし、新しい状況ではパフォーマンスが低下し、病的な運動パターンを持つ臨床集団への一般化が制限されます。
倫理的な課題とデータ収集の欠如により、臨床データセットは AI トレーニングに広く利用できません。
私たちは、他の種からのデータがネットワークをより広範囲の動きの手がかりにさらすことで、このギャップを埋めることができる可能性があることを観察しています。
他の種のデータを利用して転移学習を行うと、人間のみを対象にトレーニングされたベンチマークと比較して、精度と再現率の点で人間の姿勢推定が向上することがわかりました。
ベンチマークと比較して、転移学習アプローチに必要な人間のトレーニング例の数は少なくなりました (1,000 対 19,185)。
これらの結果は、マカクの姿勢推定が臨床状況における人間の姿勢推定を改善できることを示唆しています。
今後の研究では、臨床集団におけるサルのデータを用いて訓練された姿勢推定の有用性をさらに探求する必要がある。

要約(オリジナル)

In this study, we investigated whether transfer learning from macaque monkeys could improve human pose estimation. Current state-of-the-art pose estimation techniques, often employing deep neural networks, can match human annotation in non-clinical datasets. However, they underperform in novel situations, limiting their generalisability to clinical populations with pathological movement patterns. Clinical datasets are not widely available for AI training due to ethical challenges and a lack of data collection. We observe that data from other species may be able to bridge this gap by exposing the network to a broader range of motion cues. We found that utilising data from other species and undertaking transfer learning improved human pose estimation in terms of precision and recall compared to the benchmark, which was trained on humans only. Compared to the benchmark, fewer human training examples were needed for the transfer learning approach (1,000 vs 19,185). These results suggest that macaque pose estimation can improve human pose estimation in clinical situations. Future work should further explore the utility of pose estimation trained with monkey data in clinical populations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google