Learning to Discriminate Information for Online Action Detection: Analysis and Application

要約

ストリーミング ビデオから進行中のアクションを識別することを目的としたオンライン アクション検出は、実世界のアプリケーションで重要なテーマです。
このタスクでは、以前の方法では、再帰型ニューラル ネットワークを使用して入力シーケンスの時間関係をモデル化していました。
しかし、これらの方法は、入力画像シーケンスが関心のある行動だけでなく、背景や無関係な行動を含むという事実を見落としています。
これにより、反復ユニットが、関心のあるアクションの特徴をエンコードするための不要な情報を蓄積するようになります。
この問題を克服するために、Information Discrimination Unit (IDU) という名前の新しい反復ユニットを提案します。これは、進行中のアクションと他のアクションとの間の情報の関連性を明示的に識別して、入力情報を蓄積するかどうかを決定します。
これにより、進行中のアクションを識別するためのより識別可能な表現を学習できます。
この論文では、行動予測のための情報統合ユニット（IIU）と呼ばれる新しい反復ユニットをさらに提示します。
私たちの IIU は、IDU からの出力を疑似アクション ラベルおよび RGB フレームとして利用して、観測されたアクションの強化された機能を効果的に学習します。
TVSeries と THUMOS-14 での実験では、提案された方法は、オンライン アクションの検出とアクションの予測において、最先端の方法よりも大幅に優れています。
さらに、包括的なアブレーション研究を実施することにより、提案されたユニットの有効性を実証します。

要約(オリジナル)

Online action detection, which aims to identify an ongoing action from a streaming video, is an important subject in real-world applications. For this task, previous methods use recurrent neural networks for modeling temporal relations in an input sequence. However, these methods overlook the fact that the input image sequence includes not only the action of interest but background and irrelevant actions. This would induce recurrent units to accumulate unnecessary information for encoding features on the action of interest. To overcome this problem, we propose a novel recurrent unit, named Information Discrimination Unit (IDU), which explicitly discriminates the information relevancy between an ongoing action and others to decide whether to accumulate the input information. This enables learning more discriminative representations for identifying an ongoing action. In this paper, we further present a new recurrent unit, called Information Integration Unit (IIU), for action anticipation. Our IIU exploits the outputs from IDU as pseudo action labels as well as RGB frames to learn enriched features of observed actions effectively. In experiments on TVSeries and THUMOS-14, the proposed methods outperform state-of-the-art methods by a significant margin in online action detection and action anticipation. Moreover, we demonstrate the effectiveness of the proposed units by conducting comprehensive ablation studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google