Annolid: Annotate, Segment, and Track Anything You Need

要約

Annolid は、ビデオ ファイル内の研究ターゲットのセグメンテーション、ラベル付け、追跡を行うために設計された深層学習ベースのソフトウェア パッケージで、主に動物の行動分析に重点を置いています。
最先端のインスタンス セグメンテーション手法に基づいて、Annolid は Cutie ビデオ オブジェクト セグメンテーション モデルを利用して、環境によって部分的または全体的に隠されている可能性がある環境であっても、単一の注釈付きフレームから複数の動物の復元力のあるマーカーレス追跡を実現します。
機能または相互に。
さらに、Segment Anything と Grounding-DINO 戦略を統合すると、テキスト コマンドによる認識可能な動物やオブジェクトの自動マスキングとセグメンテーションが可能になり、手動の注釈の必要がなくなります。
Annolid のオブジェクト セグメンテーションに対する包括的なアプローチは、幅広い行動分析アプリケーションに柔軟に対応し、動物とその体の部分の追跡に加えて、すくむ、穴を掘る、子犬の群れ、社会的相互作用などの多様な行動状態の分類を可能にします。

要約(オリジナル)

Annolid is a deep learning-based software package designed for the segmentation, labeling, and tracking of research targets within video files, focusing primarily on animal behavior analysis. Based on state-of-the-art instance segmentation methods, Annolid now harnesses the Cutie video object segmentation model to achieve resilient, markerless tracking of multiple animals from single annotated frames, even in environments in which they may be partially or entirely concealed by environmental features or by one another. Our integration of Segment Anything and Grounding-DINO strategies additionally enables the automatic masking and segmentation of recognizable animals and objects by text command, removing the need for manual annotation. Annolid’s comprehensive approach to object segmentation flexibly accommodates a broad spectrum of behavior analysis applications, enabling the classification of diverse behavioral states such as freezing, digging, pup huddling, and social interactions in addition to the tracking of animals and their body parts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google