Sentiment-oriented Transformer-based Variational Autoencoder Network for Live Video Commenting

要約

ライブビデオの自動コメントは、ナレーションの生成やトピックの説明などにおける重要性から注目が高まっています。しかし、生成されたコメントの多様な感情の考慮は現在の方法には欠けています。
インタラクティブなコメントでは感情的な要素が重要ですが、これまでのところ研究が不足しています。
したがって、この論文では、複数の感情と複数のセマンティクスを備えた多様なビデオコメントを実現するために、感情指向のダイバーシティエンコーダモジュールとバッチアテンションモジュールで構成される感情指向のトランスフォーマーベースの変分オートエンコーダ（So-TVAE）ネットワークを提案します。
。
具体的には、当社のセンチメント指向のダイバーシティ エンコーダーは、VAE とランダム マスク メカニズムをエレガントに組み合わせて、センチメント ガイダンスの下でセマンティックな多様性を実現し、クロスモーダル機能と融合してライブ ビデオ コメントを生成します。
さらに、この論文では、ビデオの人気が変化するにつれてライブビデオでよく見られる、データの不均衡によって引き起こされる感情的なサンプルの欠落の問題を軽減するためのバッチアテンションモジュールも提案されています。
Livebot および VideoIC データセットに関する広範な実験により、提案された So-TVAE が、生成されるコメントの品質と多様性の点で最先端の方法よりも優れていることが実証されました。
関連コードは https://github.com/fufy1024/So-TVAE で入手できます。

要約(オリジナル)

Automatic live video commenting is with increasing attention due to its significance in narration generation, topic explanation, etc. However, the diverse sentiment consideration of the generated comments is missing from the current methods. Sentimental factors are critical in interactive commenting, and lack of research so far. Thus, in this paper, we propose a Sentiment-oriented Transformer-based Variational Autoencoder (So-TVAE) network which consists of a sentiment-oriented diversity encoder module and a batch attention module, to achieve diverse video commenting with multiple sentiments and multiple semantics. Specifically, our sentiment-oriented diversity encoder elegantly combines VAE and random mask mechanism to achieve semantic diversity under sentiment guidance, which is then fused with cross-modal features to generate live video comments. Furthermore, a batch attention module is also proposed in this paper to alleviate the problem of missing sentimental samples, caused by the data imbalance, which is common in live videos as the popularity of videos varies. Extensive experiments on Livebot and VideoIC datasets demonstrate that the proposed So-TVAE outperforms the state-of-the-art methods in terms of the quality and diversity of generated comments. Related code is available at https://github.com/fufy1024/So-TVAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google