Continual Action Assessment via Task-Consistent Score-Discriminative Feature Distribution Modeling

要約

アクション品質評価 (AQA) は、アクションがどの程度適切に実行されているかを答えようとするタスクです。
目覚ましい進歩が達成されましたが、AQA に関する既存の研究では、すべてのトレーニング データが 1 回のトレーニングで表示されることを前提としていますが、新しい技術的アクションを評価するための継続的な学習は可能ではありません。
この研究では、AQA (Continual-AQA) における継続学習問題に取り組みます。この問題は、統合モデルが AQA タスクを忘れずに順番に学習することを促します。
Continual-AQA をモデル化するための私たちのアイデアは、タスクとアクションの種類に関係なく、潜在的な特徴がスコア ラベルと強い相関関係を表す、タスク一貫性のあるスコア識別特徴分布を逐次的に学習することです。
この観点から、Continual-AQA では 2 つの側面から物忘れの軽減を目指します。
まず、新しいデータと以前のデータの特徴をスコア識別分布に融合するために、限られたメモリ サイズで以前のタスクからのデータを保存および再利用する新しい特徴スコア相関認識リハーサルが提案されます。
次に、アクション一般固有のグラフが開発され、アクション一般とアクション固有の知識を学習および分離することで、タスクに一貫したスコア識別機能をさまざまなタスクにわたってより適切に抽出できるようになります。
提案されたコンポーネントの貢献を評価するために、広範な実験が行われます。
既存の継続的学習方法との比較により、私たちのアプローチの有効性と多用途性がさらに検証されます。

要約(オリジナル)

Action Quality Assessment (AQA) is a task that tries to answer how well an action is carried out. While remarkable progress has been achieved, existing works on AQA assume that all the training data are visible for training in one time, but do not enable continual learning on assessing new technical actions. In this work, we address such a Continual Learning problem in AQA (Continual-AQA), which urges a unified model to learn AQA tasks sequentially without forgetting. Our idea for modeling Continual-AQA is to sequentially learn a task-consistent score-discriminative feature distribution, in which the latent features express a strong correlation with the score labels regardless of the task or action types. From this perspective, we aim to mitigate the forgetting in Continual-AQA from two aspects. Firstly, to fuse the features of new and previous data into a score-discriminative distribution, a novel Feature-Score Correlation-Aware Rehearsal is proposed to store and reuse data from previous tasks with limited memory size. Secondly, an Action General-Specific Graph is developed to learn and decouple the action-general and action-specific knowledge so that the task-consistent score-discriminative features can be better extracted across various tasks. Extensive experiments are conducted to evaluate the contributions of proposed components. The comparisons with the existing continual learning methods additionally verify the effectiveness and versatility of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google