Modeling Paragraph-Level Vision-Language Semantic Alignment for Multi-Modal Summarization

要約

タイトル：マルチモーダル・サマリゼーションのための段落レベルビジョン・ランゲージ意味的整合性モデリング

要約：
– 現在の多数のマルチモーダル・サマリゼーション手法は、オフシェルフの物体検出器を最初に使用して視覚的特徴を抽出し、その後これらの特徴を言語表現と融合させ、エンコーダー・デコーダー・モデルで要約を生成するようになっている。
– このような方法では、画像と段落との間の意味的整合性を捉えることができない。
– 本論文では、段落レベルビジョン・ランゲージ意味的整合性とマルチモーダルサマリゼーションを同時にモデリングするViL-Sumを提案している。
– ViL-Sumの中心部は、画像の並べ替えと画像の選択の2つのタスクを備えた共同マルチモーダルエンコーダーである。
– 共同マルチモーダルエンコーダーはモダリティ間の相互作用を捉え、並べ替えタスクが段落レベルの意味的整合性を学習し、選択タスクが要約に関連する画像を選択するようにモデルを誘導する。
– 実験結果は、ViL-Sumが現在の最先端手法を大幅に上回ることを示している。
– 更に分析すると、2つのタスクと共同マルチモーダルエンコーダーが、合理的な段落-画像および要約-画像関係を学習するために効果的であることがわかった。

要約(オリジナル)

Most current multi-modal summarization methods follow a cascaded manner, where an off-the-shelf object detector is first used to extract visual features, then these features are fused with language representations to generate the summary with an encoder-decoder model. The cascaded way cannot capture the semantic alignments between images and paragraphs, which are crucial to a precise summary. In this paper, we propose ViL-Sum to jointly model paragraph-level \textbf{Vi}sion-\textbf{L}anguage Semantic Alignment and Multi-Modal \textbf{Sum}marization. The core of ViL-Sum is a joint multi-modal encoder with two well-designed tasks, image reordering and image selection. The joint multi-modal encoder captures the interactions between modalities, where the reordering task guides the model to learn paragraph-level semantic alignment and the selection task guides the model to selected summary-related images in the final summary. Experimental results show that our proposed ViL-Sum significantly outperforms current state-of-the-art methods. In further analysis, we find that two well-designed tasks and joint multi-modal encoder can effectively guide the model to learn reasonable paragraphs-images and summary-images relations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI