Attention-Based Methods For Audio Question Answering

要約

音声質問応答 (AQA) は、システムに音声および自然言語の質問が提供された場合に、自然言語の回答を生成するタスクです。
この論文では、AQA タスクのための自己注意と相互注意に基づくニューラル ネットワーク アーキテクチャを提案します。
セルフアテンション レイヤーは、強力な音声表現とテキスト表現を抽出します。
クロスアテンションは、テキストの特徴に関連する音声の特徴をマッピングして、回答を生成します。
すべてのモデルは、最近提案された Clotho-AQA データセットで、はい/いいえの 2 つの質問と 1 つの単語で答える質問の両方についてトレーニングされています。
私たちの結果は、元の論文で報告された参照方法と比較して改善が明らかに示されています。
はい/いいえの二値分類タスクでは、参照モデルの 62.7% と比較して、提案されたモデルは 68.3% の精度を達成しました。
単一単語の回答によるマルチクラス分類器の場合、このモデルは、参照モデルの 54.2% と 93.7% と比較して、上位 1 位と上位 5 位の精度がそれぞれ 57.9% と 99.8% でした。
さらに、複数の時制、単数形と複数形での同じ回答単語の存在、同じ質問に対する特定の回答と一般的な回答の存在など、Clotho-AQA データセットの課題のいくつかについて説明します。
私たちはこれらの問題に対処し、データセットの改訂版を提示します。

要約(オリジナル)

Audio question answering (AQA) is the task of producing natural language answers when a system is provided with audio and natural language questions. In this paper, we propose neural network architectures based on self-attention and cross-attention for the AQA task. The self-attention layers extract powerful audio and textual representations. The cross-attention maps audio features that are relevant to the textual features to produce answers. All our models are trained on the recently proposed Clotho-AQA dataset for both binary yes/no questions and single-word answer questions. Our results clearly show improvement over the reference method reported in the original paper. On the yes/no binary classification task, our proposed model achieves an accuracy of 68.3% compared to 62.7% in the reference model. For the single-word answers multiclass classifier, our model produces a top-1 and top-5 accuracy of 57.9% and 99.8% compared to 54.2% and 93.7% in the reference model respectively. We further discuss some of the challenges in the Clotho-AQA dataset such as the presence of the same answer word in multiple tenses, singular and plural forms, and the presence of specific and generic answers to the same question. We address these issues and present a revised version of the dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google