A Closer Look at Temporal Ordering in the Segmentation of Instructional Videos

要約

タスクを実行するために必要な手順を理解することは、AI システムにとって重要なスキルです。
教育ビデオからこれらの手順を学習するには、(i) 連続して発生するセグメントの時間的境界を特定することと、(ii) これらの手順を自然言語で要約することの 2 つのサブ問題が含まれます。
このタスクを手順の分割と要約 (PSS) と呼びます。
このホワイト ペーパーでは、PSS を詳しく見て、現在の方法に対する 3 つの基本的な改善点を提案します。
正しい要約を生成するには、最初にステップを特定する必要があるため、セグメンテーション タスクは重要です。
ただし、現在のセグメンテーション メトリックは、セグメントの時間的な順序が組み込まれていないため、セグメンテーションの品質を過大評価することがよくあります。
セグメントの順序を考慮した動的計画法に基づく新しいセグメンテーション メトリックを提案します。
現在の PSS メソッドは通常、セグメントを提案し、それらをグラウンド トゥルースと照合し、損失を計算することによってトレーニングされます。
ただし、セグメンテーション メトリックと同様に、既存のマッチング アルゴリズムは、候補セグメントとグラウンド トゥルースとの間のマッピングの時間的な順序を考慮していません。
セグメント マッピングの時間的順序を制約し、微分可能であるマッチング アルゴリズムを提案します。
最後に、セグメンテーションをさらに改善する PSS のマルチモーダル機能トレーニングを紹介します。
2 つの教育用ビデオ データセット (YouCook2 と Tasty) でアプローチを評価し、手順のセグメンテーションと要約について、それぞれ $\sim7\%$ と $\sim2.5\%$ のマージンで最先端を改善します。

要約(オリジナル)

Understanding the steps required to perform a task is an important skill for AI systems. Learning these steps from instructional videos involves two subproblems: (i) identifying the temporal boundary of sequentially occurring segments and (ii) summarizing these steps in natural language. We refer to this task as Procedure Segmentation and Summarization (PSS). In this paper, we take a closer look at PSS and propose three fundamental improvements over current methods. The segmentation task is critical, as generating a correct summary requires the step to be identified first. However, current segmentation metrics often overestimate the segmentation quality because they do not incorporate the temporal order of segments. We propose a new segmentation metric based on dynamic programming that takes into account the order of segments. Current PSS methods are typically trained by proposing segments, matching them with the ground truth and computing a loss. However, much like segmentation metrics, existing matching algorithms do not consider the temporal order of the mapping between candidate segments and the ground truth. We propose a matching algorithm that constrains the temporal order of segment mapping, and is also differentiable. Lastly, we introduce multi-modal feature training for PSS, which further improves segmentation. We evaluate our approach on two instructional video datasets (YouCook2 and Tasty) and improve the state of the art by a margin of $\sim7\%$ and $\sim2.5\%$ for procedure segmentation and summarization, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google