A Suite of Generative Tasks for Multi-Level Multimodal Webpage Understanding

要約

Web ページは、視覚言語および言語のみのタスクにとって豊富でスケーラブルなリソースです。
しかし、既存のデータセットには Web ページの一部 (画像とキャプションのペア、長いテキスト記事、生の HTML) のみが保存され、すべてが 1 か所に保存されることはありません。
その結果、Web ページのタスクはほとんど注目されず、構造化された画像テキスト データは十分に活用されないままになっています。
マルチモーダル Web ページの理解を研究するために、関連する画像、テキスト、および構造データのすべてを含む 200 万ページを含む Wikipedia Web ページ スイート (WikiWeb2M) を紹介します。
ページ説明の生成、セクションの要約、およびコンテキスト画像のキャプションという 3 つの生成タスクでその有用性を検証します。
私たちは、Web ページの残りの部分に注意を向けてコンテキストを確認するためのグローバル トークンとして、最も関連性の高い画像とテキスト コンテンツを選択する、新しいアテンション メカニズム Prefix Global を設計します。
ページ構造を使用してそのようなトークンを分離することにより、計算の複雑さが軽減され、完全な注意よりも優れたパフォーマンスが得られます。
広範な実験により、WikiWeb2M の新しいデータにより、以前の研究と比較してタスクのパフォーマンスが向上することが示されました。

要約(オリジナル)

Webpages have been a rich, scalable resource for vision-language and language only tasks. Yet only pieces of webpages are kept in existing datasets: image-caption pairs, long text articles, or raw HTML, never all in one place. Webpage tasks have resultingly received little attention and structured image-text data left underused. To study multimodal webpage understanding, we introduce the Wikipedia Webpage suite (WikiWeb2M) containing 2M pages with all of the associated image, text, and structure data. We verify its utility on three generative tasks: page description generation, section summarization, and contextual image captioning. We design a novel attention mechanism Prefix Global, which selects the most relevant image and text content as global tokens to attend to the rest of the webpage for context. By using page structure to separate such tokens, it performs better than full attention with lower computational complexity. Extensive experiments show that the new data in WikiWeb2M improves task performance compared to prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google