Sample Efficient Multimodal Semantic Augmentation for Incremental Summarization

要約

この作業では、タスク ビデオの増分要約のためのプロンプト アプローチを開発します。
中間ステップとしてセマンティック概念を抽出するためのサンプル効率の良い少数ショット アプローチを開発します。
画像から概念を抽出するために既存のモデルを活用し、それをビデオに拡張し、知覚ベースのアーキテクチャの最近の進歩に動機付けられた、サンプル効率のためのクラスタリングとクエリのアプローチを導入します。
私たちの仕事は、ビデオからの関連エンティティとアクションを含むより豊富な入力コンテキストを使用し、これらをプロンプトとして使用するアプローチが、モデルによって生成された要約を強化できるというさらなる証拠を提供します。
関連するデータセットで結果を示し、作業の可能な方向性について話し合います。

要約(オリジナル)

In this work, we develop a prompting approach for incremental summarization of task videos. We develop a sample-efficient few-shot approach for extracting semantic concepts as an intermediate step. We leverage an existing model for extracting the concepts from the images and extend it to videos and introduce a clustering and querying approach for sample efficiency, motivated by the recent advances in perceiver-based architectures. Our work provides further evidence that an approach with richer input context with relevant entities and actions from the videos and using these as prompts could enhance the summaries generated by the model. We show the results on a relevant dataset and discuss possible directions for the work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google