Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking

要約

視覚的な物体の追跡は主に不透明な物体に焦点を当ててきましたが、透明な物体の追跡はほとんど注目されていませんでした。
背景によって外観が直接影響を受ける透明なオブジェクトの独自性に動機付けられて、最初の専用の評価データセットが最近登場しました。
この取り組みに貢献するために、境界ボックスとセグメンテーション マスクによって注釈が付けられた、全体で 104,343 枚の画像を含む 2,000 を超えるシーケンスで構成される最初の透明なオブジェクト トラッキング トレーニング データセット Trans2k を提案します。
透明なオブジェクトは最新のレンダラーでリアルにレンダリングできることに注意して、ドメイン固有の属性を定量化し、既存のオブジェクト トレーニング データセットではカバーされていない視覚的属性と追跡状況を含むデータセットをレンダリングします。
Trans2k を使用してトレーニングすると、最新の追跡アーキテクチャの多様なセット全体で一貫したパフォーマンス向上 (最大 16%) が観察され、適切なトレーニング セットがないために以前は不可能だった洞察が示されました。
データセットとレンダリング エンジンは公開され、最新の学習ベースのトラッカーの力を解き放ち、透明なオブジェクト トラッキングの新しいデザインを促進します。

要約(オリジナル)

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training dataset Trans2k that consists of over 2k sequences with 104,343 images overall, annotated by bounding boxes and segmentation masks. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. The dataset and the rendering engine will be publicly released to unlock the power of modern learning-based trackers and foster new designs in transparent object tracking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google