Unified Language Representation for Question Answering over Text, Tables, and Images

要約

複雑な質問に答えようとするとき、人々はビジュアル、テキスト、表形式のデータなどの複数の情報ソースに依存することがよくあります。
この問題に対するこれまでのアプローチは、マルチモーダル空間での入力特徴やモデル構造の設計に重点を置いていましたが、クロスモーダル推論やデータ効率の高いトレーニングには柔軟性がありませんでした。
この論文では、画像と表を統一言語表現に変換する代替パラダイムを呼び出します。これにより、タスクを、検索、ランキング、生成の 3 つのステップを使用して解決できる、より単純なテキスト QA 問題に単純化できます。
すべては言語空間内で行われます。
このアイデアは、事前トレーニングされた言語モデルの力を利用しており、Solar と呼ばれるフレームワークに実装されています。
私たちの実験結果は、10 の異なる指標にわたって、MultimodalQA と MMCoQA の 2 つのデータセットで、Solar が既存のすべての手法よりも 10.6 ～ 32.3 ポイント優れていることを示しています。
さらに、Solar は WebQA リーダーボードで最高のパフォーマンスを達成しました

要約(オリジナル)

When trying to answer complex questions, people often rely on multiple sources of information, such as visual, textual, and tabular data. Previous approaches to this problem have focused on designing input features or model structure in the multi-modal space, which is inflexible for cross-modal reasoning or data-efficient training. In this paper, we call for an alternative paradigm, which transforms the images and tables into unified language representations, so that we can simplify the task into a simpler textual QA problem that can be solved using three steps: retrieval, ranking, and generation, all within a language space. This idea takes advantage of the power of pre-trained language models and is implemented in a framework called Solar. Our experimental results show that Solar outperforms all existing methods by 10.6-32.3 pts on two datasets, MultimodalQA and MMCoQA, across ten different metrics. Additionally, Solar achieves the best performance on the WebQA leaderboard

arxiv情報

提供元, 利用サービス

arxiv.jp, Google