MUST-VQA: MUltilingual Scene-text VQA

要約

この論文では、ゼロショット方式で新しい言語を扱う多言語シーン テキスト ビジュアル質問応答のフレームワークを紹介します。
具体的には、シーン テキストの視覚的質問応答 (STVQA) のタスクを検討します。このタスクでは、さまざまな言語で質問をすることができ、必ずしもシーン テキストの言語に合わせているとは限りません。
したがって、まず、STVQA のより一般化されたバージョンである MUST-VQA に向けた自然なステップを紹介します。
これを考慮して、制約のある設定での 2 つの評価シナリオ、つまり IID とゼロ ショットについて説明し、モデルがゼロ ショット設定で同等に機能することを示します。
さらに広範な実験を行い、多言語言語モデルを STVQA タスクに適応させることの有効性を示します。

要約(オリジナル)

In this paper, we present a framework for Multilingual Scene Text Visual Question Answering that deals with new languages in a zero-shot fashion. Specifically, we consider the task of Scene Text Visual Question Answering (STVQA) in which the question can be asked in different languages and it is not necessarily aligned to the scene text language. Thus, we first introduce a natural step towards a more generalized version of STVQA: MUST-VQA. Accounting for this, we discuss two evaluation scenarios in the constrained setting, namely IID and zero-shot and we demonstrate that the models can perform on a par on a zero-shot setting. We further provide extensive experimentation and show the effectiveness of adapting multilingual language models into STVQA tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google