How Effective are Self-Supervised Models for Contact Identification in Videos

要約

自己教師あり学習（Self-Supervised Learning：SSL）モデルによるビデオコンテンツの探索は、ダイナミックな研究分野であり、この分野に固有の複雑な課題とユニークな機会の両方を強調している。研究の発展にもかかわらず、SSLモデルが動画中の物理的接触を検出する能力は、特に、線形プロービングや完全な微調整を伴う下流監視のような手法の有効性など、ほとんど未解明のままである。本研究では、8つの異なる畳み込みニューラルネットワーク（CNN）ベースの動画SSLモデルを採用することで、このギャップを埋めることを目的とし、特に動画シーケンス内の身体的接触のインスタンスを特定する。UCF101 と HMDB51 での有望な結果と、SSv2 と EK-100 での限られた事前評価により、Something-Something v2 (SSv2) と Epic-Kitchen (EK-100) データセットがこれらのアプローチの評価に選ばれた。さらに、これらのデータセットは多様な環境とシナリオを特徴としており、ビデオベースのモデルの頑健性と精度をテストするために不可欠である。このアプローチでは、物理的な接触を認識する際の各モデルの有効性を検証するだけでなく、アクション認識の下流タスクにおけるパフォーマンスも調査します。そうすることで、複雑で動的な視覚情報の解釈におけるSSLモデルの適応性についての貴重な洞察が得られる。

要約(オリジナル)

The exploration of video content via Self-Supervised Learning (SSL) models has unveiled a dynamic field of study, emphasizing both the complex challenges and unique opportunities inherent in this area. Despite the growing body of research, the ability of SSL models to detect physical contacts in videos remains largely unexplored, particularly the effectiveness of methods such as downstream supervision with linear probing or full fine-tuning. This work aims to bridge this gap by employing eight different convolutional neural networks (CNNs) based video SSL models to identify instances of physical contact within video sequences specifically. The Something-Something v2 (SSv2) and Epic-Kitchen (EK-100) datasets were chosen for evaluating these approaches due to the promising results on UCF101 and HMDB51, coupled with their limited prior assessment on SSv2 and EK-100. Additionally, these datasets feature diverse environments and scenarios, essential for testing the robustness and accuracy of video-based models. This approach not only examines the effectiveness of each model in recognizing physical contacts but also explores the performance in the action recognition downstream task. By doing so, valuable insights into the adaptability of SSL models in interpreting complex, dynamic visual information are contributed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL