Multi Sentence Description of Complex Manipulation Action Videos

要約

ビデオの自動説明では、ビデオ内のアクション、イベント、オブジェクトに関する自然言語ステートメントを生成する必要があります。
ビデオを説明するときの重要な人間の特性は、さまざまな詳細レベルで説明できることです。
これとは異なり、自動ビデオ説明に対する既存のアプローチは、固定の詳細レベルで単一の文を生成することに主に焦点を当てています。
代わりに、ここでは、ロボット学習の最新のアプローチにも関連するこれらのアクションの階層構造に関する情報を伝達できるようにするために、さまざまなレベルの詳細が必要となる操作アクションのビデオ説明について説明します。
この問題に対処するために、1 つのハイブリッド統計フレームワークと 1 つのエンドツーエンド フレームワークを提案します。
ハイブリッド手法では、ビデオ クリップ内の統計的な不確実性をモデル化するため、トレーニングに必要なデータがはるかに少なくなります。一方、よりデータ量の多いエンドツーエンド手法では、何もせずにビジュアル エンコーダを言語デコーダに直接接続します。
中間（統計）処理ステップ。
どちらのフレームワークも LSTM スタックを使用して、さまざまなレベルの説明の粒度を可能にし、ビデオを単純な単一の文または複雑な複数の文の説明で説明できます。
さらに、定量的な結果は、これらの方法が他の競合するアプローチよりも現実的な説明を生成することを示しています。

要約(オリジナル)

Automatic video description requires the generation of natural language statements about the actions, events, and objects in the video. An important human trait, when we describe a video, is that we are able to do this with variable levels of detail. Different from this, existing approaches for automatic video descriptions are mostly focused on single sentence generation at a fixed level of detail. Instead, here we address video description of manipulation actions where different levels of detail are required for being able to convey information about the hierarchical structure of these actions relevant also for modern approaches of robot learning. We propose one hybrid statistical and one end-to-end framework to address this problem. The hybrid method needs much less data for training, because it models statistically uncertainties within the video clips, while in the end-to-end method, which is more data-heavy, we are directly connecting the visual encoder to the language decoder without any intermediate (statistical) processing step. Both frameworks use LSTM stacks to allow for different levels of description granularity and videos can be described by simple single-sentences or complex multiple-sentence descriptions. In addition, quantitative results demonstrate that these methods produce more realistic descriptions than other competing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google