TCR: Short Video Title Generation and Cover Selection with Attention Refinement

要約

タイトル：TCR：アテンションリファインメントによる短い動画のタイトル生成とカバー選択

要約：

– 短い動画の人気が広まるにつれ、コンテンツクリエーターが彼らのコンテンツを潜在的な視聴者に宣伝することはますます困難になっている。
– 短い動画の引き付けるタイトルやカバーを自動生成することは、視聴者の注意を引くのに役立つ。
– ビデオキャプションに関する既存の研究は、主にアクションの事実的な説明を生成することに焦点を当てており、視聴者の注意を引くためのビデオタイトルに適合していない。
– さらに、多モーダル情報に基づくカバー選択の研究は極めて限定的である。これらの問題は、特定の方法を必要とする要件を刺激し、短い動画のタイトル生成とカバー選択（TG-CS）の共同タスクを支援するための対応するデータセットの作成の需要を刺激する。
– この論文では、魅力的なタイトルとカバーを備えた動画を含む現実世界のデータセットShort Video Title Generation（SVTG）を収集し、提供する。
– 次に、Attention Refinement（TCR）方法を提案し、TG-CSのためのタイトル生成とカバー選択を行う。
– リファインメント手順が高品質のサンプルを進行的に選択し、各サンプル内の高度に関連するフレームとテキストトークンを選択してモデルトレーニングを改良することを示唆される。
– 広範な実験は、TCR法が既存のさまざまなビデオキャプション法に優れたタイトルを生成し、ノイズの多い現実世界の短い動画に対してより良いカバーを選択できることを示している。

要約(オリジナル)

With the widespread popularity of user-generated short videos, it becomes increasingly challenging for content creators to promote their content to potential viewers. Automatically generating appealing titles and covers for short videos can help grab viewers’ attention. Existing studies on video captioning mostly focus on generating factual descriptions of actions, which do not conform to video titles intended for catching viewer attention. Furthermore, research for cover selection based on multimodal information is sparse. These problems motivate the need for tailored methods to specifically support the joint task of short video title generation and cover selection (TG-CS) as well as the demand for creating corresponding datasets to support the studies. In this paper, we first collect and present a real-world dataset named Short Video Title Generation (SVTG) that contains videos with appealing titles and covers. We then propose a Title generation and Cover selection with attention Refinement (TCR) method for TG-CS. The refinement procedure progressively selects high-quality samples and highly relevant frames and text tokens within each sample to refine model training. Extensive experiments show that our TCR method is superior to various existing video captioning methods in generating titles and is able to select better covers for noisy real-world short videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI