mForms : Multimodal Form-Filling with Question Answering

要約

この論文では、タスクをマルチモーダル自然言語質問応答 (QA) として再定式化することにより、フォーム入力への新しいアプローチを紹介します。
再定式化は、最初に GUI フォーム上の要素 (テキスト フィールド、ボタン、アイコンなど) を自然言語の質問に変換することによって実現されます。これらの質問は、要素のマルチモーダル セマンティクスを捕捉します。
フォーム要素 (質問) とユーザーの発話 (回答) が一致すると判断された後、事前トレーニングされた抽出 QA システムを通じてフォーム要素が入力されます。
事前トレーニングされた QA モデルを活用し、フォーム固有のトレーニングを必要としないため、フォーム入力に対するこのアプローチはゼロショットです。
この論文では、マルチタスク トレーニングを使用して、潜在的に多数の連続タスクを組み込むことでフォーム入力をさらに改良するアプローチも紹介しています。
最後に、この論文では、マルチモーダル自然言語フォーム入力データセット Multimodal Forms (mForms) と、将来の研究と実験をサポートするための人気のある ATIS データセットのマルチモーダル拡張機能を紹介します。
結果は、新しいアプローチが疎なトレーニング条件に対して堅牢な精度を維持するだけでなく、トレーニング データの約 1/10 を使用して ATIS で最先端の F1 0.97 を達成することを示しています。

要約(オリジナル)

This paper presents a new approach to form-filling by reformulating the task as multimodal natural language Question Answering (QA). The reformulation is achieved by first translating the elements on the GUI form (text fields, buttons, icons, etc.) to natural language questions, where these questions capture the element’s multimodal semantics. After a match is determined between the form element (Question) and the user utterance (Answer), the form element is filled through a pre-trained extractive QA system. By leveraging pre-trained QA models and not requiring form-specific training, this approach to form-filling is zero-shot. The paper also presents an approach to further refine the form-filling by using multi-task training to incorporate a potentially large number of successive tasks. Finally, the paper introduces a multimodal natural language form-filling dataset Multimodal Forms (mForms), as well as a multimodal extension of the popular ATIS dataset to support future research and experimentation. Results show the new approach not only maintains robust accuracy for sparse training conditions but achieves state-of-the-art F1 of 0.97 on ATIS with approximately 1/10th of the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google