Efficient Audio Captioning Transformer with Patchout and Text Guidance

要約

タイトル：Patchoutおよびテキストガイダンスを用いた効率的な音声キャプショニングトランスフォーマー

要約：
– 音声を与えられた場合にテキストの説明を生成する多様な翻訳タスクである自動音声キャプショニングを行うためのFull Transformerアーキテクチャを提案する。
– 提案手法ではPatchoutを使用し、過学習を回避し計算の複雑性を大幅に低減する。
– キャプション生成は、AudioSetタグの一部にコンディショニングされ、先行事例として抽出された分類モデルによって最適化されたセマンティック・シミラリティを最大化するためにファインチューニングされたテキストガイダンスを用いる。
– 自動音声キャプショニングのデータ不足問題を緩和するために、アップストリーム音声関連タスクおよび拡大されたインドメインデータセットからの転移学習を導入する。
– さらに、AACのMixupの拡張方法を提案する。
– Patchoutとテキストガイダンスが最終パフォーマンスにどのように貢献するかを調べるためにアブレーションスタディを実施する。
– 結果は、提案手法がシステムのパフォーマンスを改善し、計算の複雑性を低減することを示している。提案手法はDCASE Challenge 2022のTask6Aで最優秀賞を受賞した。

要約(オリジナル)

Automated audio captioning is multi-modal translation task that aim to generate textual descriptions for a given audio clip. In this paper we propose a full Transformer architecture that utilizes Patchout as proposed in [1], significantly reducing the computational complexity and avoiding overfitting. The caption generation is partly conditioned on textual AudioSet tags extracted by a pre-trained classification model which is fine-tuned to maximize the semantic similarity between AudioSet labels and ground truth captions. To mitigate the data scarcity problem of Automated Audio Captioning we introduce transfer learning from an upstream audio-related task and an enlarged in-domain dataset. Moreover, we propose a method to apply Mixup augmentation for AAC. Ablation studies are carried out to investigate how Patchout and text guidance contribute to the final performance. The results show that the proposed techniques improve the performance of our system and while reducing the computational complexity. Our proposed method received the Judges Award at the Task6A of DCASE Challenge 2022.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI