CASR: Refining Action Segmentation via Magrinalizing Frame-levle Causal Relationships

要約

ディープラーニングと因果関係発見を統合することで、Temporal Action Segmentation (TAS) タスクの解釈可能性が向上しました。
しかし、フレームレベルの因果関係はセグメントレベルの外側に多くの複雑なノイズが存在するため、マクロアクションのセマンティクスを直接表現することは不可能です。
したがって、フレームレベルのカジュアルな関係を疎外する際にビデオ因果関係を強化することにより、さまざまなモデルからの TAS 結果を洗練できる Causal Abstraction Segmentation Refiner (CASR) を提案します。
具体的には、疎外されたフレームレベルの因果関係から構築された因果隣接行列がセグメントレベルの因果関係を表現できるように、同等のフレームレベルのカジュアルモデルとセグメントレベルの因果関係モデルを定義します。
CASR は、バックボーン モデルの構築した結果とセグメント化前の結果との間の因果的隣接行列の差を減らすことによって機能します。
さらに、因果関係の解釈可能性を評価するための新しい評価指標 Causal Edit Distance (CED) を提案します。
主流のデータセットに関する広範な実験結果は、CASR がアクションのセグメンテーションのパフォーマンスだけでなく、因果関係の説明可能性と一般化の点でも既存のさまざまな方法を大幅に上回っていることを示しています。

要約(オリジナル)

Integrating deep learning and causal discovery has increased the interpretability of Temporal Action Segmentation (TAS) tasks. However, frame-level causal relationships exist many complicated noises outside the segment-level, making it infeasible to directly express macro action semantics. Thus, we propose Causal Abstraction Segmentation Refiner (CASR), which can refine TAS results from various models by enhancing video causality in marginalizing frame-level casual relationships. Specifically, we define the equivalent frame-level casual model and segment-level causal model, so that the causal adjacency matrix constructed from marginalized frame-level causal relationships has the ability to represent the segmnet-level causal relationships. CASR works out by reducing the difference in the causal adjacency matrix between we constructed and pre-segmentation results of backbone models. In addition, we propose a novel evaluation metric Causal Edit Distance (CED) to evaluate the causal interpretability. Extensive experimental results on mainstream datasets indicate that CASR significantly surpasses existing various methods in action segmentation performance, as well as in causal explainability and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google