Low-power, Continuous Remote Behavioral Localization with Event Cameras

要約

自然科学の研究者は、動物の行動を定量化するための信頼できる方法を必要としています。
最近、プロセスを自動化するために多数のコンピューター ビジョン手法が登場しました。
しかし、遠隔地で野生種を観察することは、照明条件が難しく、電源やデータ保存に制約があるため、依然として困難な作業です。
イベント カメラは、低消費電力と高ダイナミック レンジ機能により、バッテリに依存するリモート モニタリングに独自の利点をもたらします。
私たちはこの新しいセンサーを使用して、ヒゲペンギンの恍惚表示と呼ばれる行動を定量化します。
この問題を一時的なアクション検出タスクとして定式化し、動作の開始時刻と終了時刻を決定します。
この目的のために、私たちは南極で繁殖するペンギンのコロニーを数週間記録し、16 個の巣に関するイベント データにラベルを付けました。
開発されたメソッドは、候補時間間隔 (提案) の生成器と、その中のアクションの分類器で構成されます。
実験では、イベントカメラの動きに対する自然な反応が継続的な行動の監視と検出に効果的であり、平均精度 (mAP) が 58% に達することが示されました (良好な気象条件では 63% に増加します)。
この結果は、困難なデータセットに含まれるさまざまな照明条件に対する堅牢性も示しています。
イベント カメラの低電力機能により、従来のカメラよりも大幅に長時間録画できます。
この研究は、野生生物の遠隔観察にイベント カメラを使用する先駆者であり、新たな学際的な機会をもたらします。
https://tub-rip.github.io/eventpenguins/

要約(オリジナル)

Researchers in natural science need reliable methods for quantifying animal behavior. Recently, numerous computer vision methods emerged to automate the process. However, observing wild species at remote locations remains a challenging task due to difficult lighting conditions and constraints on power supply and data storage. Event cameras offer unique advantages for battery-dependent remote monitoring due to their low power consumption and high dynamic range capabilities. We use this novel sensor to quantify a behavior in Chinstrap penguins called ecstatic display. We formulate the problem as a temporal action detection task, determining the start and end times of the behavior. For this purpose, we recorded a colony of breeding penguins in Antarctica for several weeks and labeled event data on 16 nests. The developed method consists of a generator of candidate time intervals (proposals) and a classifier of the actions within them. The experiments show that the event cameras’ natural response to motion is effective for continuous behavior monitoring and detection, reaching a mean average precision (mAP) of 58% (which increases to 63% in good weather conditions). The results also demonstrate the robustness against various lighting conditions contained in the challenging dataset. The low-power capabilities of the event camera allow it to record significantly longer than with a conventional camera. This work pioneers the use of event cameras for remote wildlife observation, opening new interdisciplinary opportunities. https://tub-rip.github.io/eventpenguins/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google