MSVD-Indonesian: A Benchmark for Multimodal Video-Text Tasks in Indonesian

要約

ビデオおよびテキスト データのマルチモーダル学習は、テキストからビデオへの検索、ビデオからテキストへの検索、ビデオ キャプション付けなど、さまざまな研究タスクにおいて多くの研究者から注目を集めています。
これらの困難なタスクのために多くのアルゴリズムが提案されていますが、それらのほとんどは英語のデータセットに基づいて開発されています。
インドネシア語は世界で最も話されている言語の 1 つであるにもかかわらず、インドネシア語の文章を含むマルチモーダル ビデオ テキストに関する研究の進歩は、おそらく公開ベンチマーク データセットがないため、まだ調査が進んでいません。
この問題に対処するために、MSVD データセットの英語の文をインドネシア語の文に翻訳することにより、初の公開インドネシア語ビデオテキスト データセットを構築します。
次に、データセットを使用して、英語のビデオテキスト データセット用に開発されたニューラル ネットワーク モデルを、テキストからビデオへの取得、ビデオからテキストへの取得、ビデオ キャプションの 3 つのタスクでトレーニングします。
ビデオ テキスト タスクに対する最近のニューラル ネットワーク ベースのアプローチでは、主に英語の視覚言語データセットで事前トレーニングされた特徴抽出器がよく利用されています。
インドネシア語の文を含む事前トレーニング リソースの利用可能性は比較的限られているため、これらのアプローチが私たちのデータセットに適用できるかどうかは依然として疑問です。
事前トレーニング リソースの不足を克服するために、英語のデータセットで事前トレーニングされた特徴抽出器を利用して言語間の転移学習を適用し、インドネシア語のデータセットでモデルを微調整します。
私たちの実験結果は、このアプローチがすべての指標における 3 つのタスクのパフォーマンスの向上に役立つことを示しています。
最後に、私たちのデータセットを使用して将来の可能性のある研究について議論し、インドネシアのマルチモーダルビデオテキストタスクのさらなる研究を刺激します。
私たちは、私たちのデータセットと実験結果がコミュニティに貴重な貢献を提供できると信じています。
私たちのデータセットは GitHub で入手できます。

要約(オリジナル)

Multimodal learning on video and text data has been receiving growing attention from many researchers in various research tasks, including text-to-video retrieval, video-to-text retrieval, and video captioning. Although many algorithms have been proposed for those challenging tasks, most of them are developed on English language datasets. Despite Indonesian being one of the most spoken languages in the world, the research progress on the multimodal video-text with Indonesian sentences is still under-explored, likely due to the absence of the public benchmark dataset. To address this issue, we construct the first public Indonesian video-text dataset by translating English sentences from the MSVD dataset to Indonesian sentences. Using our dataset, we then train neural network models which were developed for the English video-text dataset on three tasks, i.e., text-to-video retrieval, video-to-text retrieval, and video captioning. The recent neural network-based approaches to video-text tasks often utilized a feature extractor that is primarily pretrained on an English vision-language dataset. Since the availability of the pretraining resources with Indonesian sentences is relatively limited, the applicability of those approaches to our dataset is still questionable. To overcome the lack of pretraining resources, we apply cross-lingual transfer learning by utilizing the feature extractors pretrained on the English dataset, and we then fine-tune the models on our Indonesian dataset. Our experimental results show that this approach can help to improve the performance for the three tasks on all metrics. Finally, we discuss potential future works using our dataset, inspiring further research in the Indonesian multimodal video-text tasks. We believe that our dataset and our experimental results could provide valuable contributions to the community. Our dataset is available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google