MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice

要約

注釈付きの大規模なデータセットによって可能になったビデオ内のオブジェクトの追跡とセグメンテーションは、近年目覚ましい進歩を遂げています。
これらの進歩にもかかわらず、アルゴリズムは依然として劣化した条件下や高速な動きの際に苦労します。
イベント カメラは、高い時間分解能と高いダイナミック レンジを備えた新しいセンサーであり、これらの課題に対処するための有望な利点を提供します。
ただし、イベントを使用した学習ベースのマスクレベル追跡アルゴリズムを開発するための注釈付きデータは利用できません。
この目的を達成するために、($i$) \emph{時空インスタンス セグメンテーション} と呼ばれる新しいタスクを導入します。これは、ビデオ インスタンス セグメンテーションと同様であり、その目標は、センサー入力 (ここでは、
入力は準連続イベントとオプションで位置合わせされたフレームです)。
($ii$) \emph{\dname} は、位置合わせされたグレースケール フレームとイベントを含む、新しいタスクのデータセットです。
これには、自由に動き対話する最大 7 匹のマウスのグループの注釈付きグラウンド トゥルース ラベル (ピクセル レベルのインスタンス セグメンテーション マスク) が含まれています。
また、イベント データを活用することで、特に従来のカメラと組み合わせて使用​​した場合に追跡パフォーマンスを一貫して向上できることを示す 2 つの参考方法も提供します。
この結果は、困難なシナリオにおけるイベント支援追跡の可能性を浮き彫りにしています。
私たちのデータセットがイベントベースのビデオ インスタンス セグメンテーションの分野を切り開き、困難な状況に対応する堅牢な追跡アルゴリズムの開発を可能にすることを願っています。\url{https://github.com/tub-rip/MouseSIS}

要約(オリジナル)

Enabled by large annotated datasets, tracking and segmentation of objects in videos has made remarkable progress in recent years. Despite these advancements, algorithms still struggle under degraded conditions and during fast movements. Event cameras are novel sensors with high temporal resolution and high dynamic range that offer promising advantages to address these challenges. However, annotated data for developing learning-based mask-level tracking algorithms with events is not available. To this end, we introduce: ($i$) a new task termed \emph{space-time instance segmentation}, similar to video instance segmentation, whose goal is to segment instances throughout the entire duration of the sensor input (here, the input are quasi-continuous events and optionally aligned frames); and ($ii$) \emph{\dname}, a dataset for the new task, containing aligned grayscale frames and events. It includes annotated ground-truth labels (pixel-level instance segmentation masks) of a group of up to seven freely moving and interacting mice. We also provide two reference methods, which show that leveraging event data can consistently improve tracking performance, especially when used in combination with conventional cameras. The results highlight the potential of event-aided tracking in difficult scenarios. We hope our dataset opens the field of event-based video instance segmentation and enables the development of robust tracking algorithms for challenging conditions.\url{https://github.com/tub-rip/MouseSIS}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google