Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation

要約

時間的アクションセグメンテーションタスクへの半教師あり学習アプローチを提示します。
このタスクの目標は、トリミングされていない長い手続き型ビデオのアクションを一時的に検出してセグメント化することです。この場合、ビデオの小さなセットのみが密にラベル付けされ、ビデオの大規模なコレクションにはラベルが付けられません。
この目的のために、ラベルのないデータに対して2つの新しい損失関数を提案します。アクションアフィニティ損失とアクション連続性損失です。
アクションアフィニティ損失は、ラベル付きセットから誘導されたアクション事前分布を課すことにより、ラベルなしサンプルの学習をガイドします。
アクションの継続性の喪失は、アクションの時間的な継続性を強制し、フレームごとの分類の監視も提供します。
さらに、より堅牢で信頼性の高い学習のために、より粗いアクション境界を構築するための適応境界平滑化（ABS）アプローチを提案します。
提案された損失関数とABSは、3つのベンチマークで評価されました。
結果は、少量（5％および10％）のラベル付きデータでアクションセグメンテーションのパフォーマンスを大幅に改善し、50％のラベル付きデータで完全な監視と同等の結果を達成したことを示しています。
さらに、ABSは、完全な教師あり学習に統合された場合、パフォーマンスの向上に成功しました。

要約(オリジナル)

We present a semi-supervised learning approach to the temporal action segmentation task. The goal of the task is to temporally detect and segment actions in long, untrimmed procedural videos, where only a small set of videos are densely labelled, and a large collection of videos are unlabelled. To this end, we propose two novel loss functions for the unlabelled data: an action affinity loss and an action continuity loss. The action affinity loss guides the unlabelled samples learning by imposing the action priors induced from the labelled set. Action continuity loss enforces the temporal continuity of actions, which also provides frame-wise classification supervision. In addition, we propose an Adaptive Boundary Smoothing (ABS) approach to build coarser action boundaries for more robust and reliable learning. The proposed loss functions and ABS were evaluated on three benchmarks. Results show that they significantly improved action segmentation performance with a low amount (5% and 10%) of labelled data and achieved comparable results to full supervision with 50% labelled data. Furthermore, ABS succeeded in boosting performance when integrated into fully-supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google