Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation

要約

マルチモーダルからテキストへの生成タスク用の事前トレーニング済みトランスフォーマー アーキテクチャの開発については、重要な研究が行われています。
このようなモデルはパフォーマンスが向上しているにもかかわらず、パラメータが過剰に設定されていることが多いため、幻覚やメモリ使用量が大きくなり、エッジ デバイスへの展開が困難になります。
このペーパーでは、自動音声キャプションのアプリケーションに関するこれら両方の問題に対処します。
まず、幻覚音声キャプションを生成するためのデータ拡張手法を提案し、音声とテキストの共有潜在空間に基づく類似性が幻覚の検出に適していることを示します。
次に、より多くのデータでトレーニングされた大規模なモデルと同等のパフォーマンスを持つ、小規模な音声キャプション モデルを可能にする、パラメータ効率の高い推論時間の忠実なデコード アルゴリズムを提案します。
ビーム デコード ステップ中に、より小さなモデルはオーディオ テキスト共有潜在表現を利用して、生成されたテキストを対応する入力オーディオと意味的に位置合わせします。
貪欲にロールアウトされた中間ビームの潜在表現投影とオーディオ クリップ間のコサイン類似性を組み込むことにより、ビーム確率に忠実なガイダンスが導入されます。
ベンチマーク データセットに対するアルゴリズムの有効性を示し、パフォーマンスと複雑さの間のトレードオフを示しながら、従来の音声キャプションと意味的類似性メトリクスを使用してベースラインに対して提案されたスキームを評価します。

要約(オリジナル)

There has been significant research on developing pretrained transformer architectures for multimodal-to-text generation tasks. Albeit performance improvements, such models are frequently overparameterized, hence suffer from hallucination and large memory footprint making them challenging to deploy on edge devices. In this paper, we address both these issues for the application of automated audio captioning. First, we propose a data augmentation technique for generating hallucinated audio captions and show that similarity based on an audio-text shared latent space is suitable for detecting hallucination. Then, we propose a parameter efficient inference time faithful decoding algorithm that enables smaller audio captioning models with performance equivalent to larger models trained with more data. During the beam decoding step, the smaller model utilizes an audio-text shared latent representation to semantically align the generated text with corresponding input audio. Faithful guidance is introduced into the beam probability by incorporating the cosine similarity between latent representation projections of greedy rolled out intermediate beams and audio clip. We show the efficacy of our algorithm on benchmark datasets and evaluate the proposed scheme against baselines using conventional audio captioning and semantic similarity metrics while illustrating tradeoffs between performance and complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google