Toyota Smarthome Untrimmed: Real-World Untrimmed Videos for Activity Detection

要約

日常生活環境に正常に展開できる活動検出システムを設計するには、実際のシナリオに典型的な課題をもたらすデータセットが必要です。
このホワイトペーパーでは、いくつかの現実世界の課題を特徴とする、トリミングされていない新しい日常生活データセットを紹介します。ToyotaSmarthome Untrimmed（TSU）です。
TSUには、自発的に行われるさまざまな活動が含まれています。
データセットには、基本的な複合アクティビティやオブジェクトとの相互作用を含むアクティビティを含む高密度の注釈が含まれています。
データセットが特徴とする実際の課題の分析を提供し、検出アルゴリズムの未解決の問題を強調します。
現在の最先端の方法では、TSUデータセットで十分なパフォーマンスを達成できないことを示しています。
したがって、データセットによって提供される新しい課題に取り組むために、活動検出の新しいベースライン方法を提案します。
この方法では、1つのモダリティ（オプティカルフロー）を利用して注意の重みを生成し、別のモダリティ（RGB）をガイドして、アクティビティの境界をより適切に検出します。
これは、時間的分散が大きいことを特徴とするアクティビティを検出する場合に特に役立ちます。
私たちが提案する方法は、TSUおよび別の人気のある挑戦的なデータセットであるCharadesの最先端の方法よりも優れていることを示します。

要約(オリジナル)

Designing activity detection systems that can be successfully deployed in daily-living environments requires datasets that pose the challenges typical of real-world scenarios. In this paper, we introduce a new untrimmed daily-living dataset that features several real-world challenges: Toyota Smarthome Untrimmed (TSU). TSU contains a wide variety of activities performed in a spontaneous manner. The dataset contains dense annotations including elementary, composite activities and activities involving interactions with objects. We provide an analysis of the real-world challenges featured by our dataset, highlighting the open issues for detection algorithms. We show that current state-of-the-art methods fail to achieve satisfactory performance on the TSU dataset. Therefore, we propose a new baseline method for activity detection to tackle the novel challenges provided by our dataset. This method leverages one modality (i.e. optic flow) to generate the attention weights to guide another modality (i.e RGB) to better detect the activity boundaries. This is particularly beneficial to detect activities characterized by high temporal variance. We show that the method we propose outperforms state-of-the-art methods on TSU and on another popular challenging dataset, Charades.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google