Video-based Contrastive Learning on Decision Trees: from Action Recognition to Autism Diagnosis

要約

タイトル： 決定木に基づくビデオベースの対照的学習：アクション認識から自閉症診断へ

要約：

– 深層学習は、監視されたものから非監視されたものへと進化しており、自己監督されたアプローチにも至っている。
– この論文では、多様なタスク（人と人の相互作用や人と物体の相互作用など）の決定木分類のための対照的学習ベースのフレームワークを提示する。
– 基本的なアイデアは、元の多クラスアクション認識を、事前に構築された決定木上の一連のバイナリ分類タスクに変換することである。
– 対照的学習の新しいフレームワークのもと、相互作用隣接行列（IAM）の設計を提案し、周期性や対称性などの様々なアクションに関連する属性をモデル化する。
– 様々な先行タスクの構築を通じて、決定木上の一連のバイナリ分類ノードを得て、これらを組み合わせてより高次の認識タスクをサポートすることができる。
– 本手法の実用的な応用の実験的正当性は、相互作用認識から対称性検出まで幅広い。特に、カリフォルニア工科大学インタビュービデオデータベース上でのビデオベースの自閉症スペクトラム障害（ASD）診断の有望なパフォーマンスを示している。

要約(オリジナル)

How can we teach a computer to recognize 10,000 different actions? Deep learning has evolved from supervised and unsupervised to self-supervised approaches. In this paper, we present a new contrastive learning-based framework for decision tree-based classification of actions, including human-human interactions (HHI) and human-object interactions (HOI). The key idea is to translate the original multi-class action recognition into a series of binary classification tasks on a pre-constructed decision tree. Under the new framework of contrastive learning, we present the design of an interaction adjacent matrix (IAM) with skeleton graphs as the backbone for modeling various action-related attributes such as periodicity and symmetry. Through the construction of various pretext tasks, we obtain a series of binary classification nodes on the decision tree that can be combined to support higher-level recognition tasks. Experimental justification for the potential of our approach in real-world applications ranges from interaction recognition to symmetry detection. In particular, we have demonstrated the promising performance of video-based autism spectrum disorder (ASD) diagnosis on the CalTech interview video database.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI