ElasticAST: An Audio Spectrogram Transformer for All Length and Resolutions

要約

トランスフォーマーは、オーディオ分類の新しい標準として CNN ベースのアーキテクチャを急速に追い越しました。
Audio Spectrogram Transformers (AST) などの Transformer ベースのモデルも、CNN から固定サイズの入力パラダイムを継承しています。
ただし、入力の長さがトレーニングのものと異なる場合、推論における AST のパフォーマンスの低下につながります。
このペーパーでは、トレーニングと推論の両方で AST モデルで可変長オーディオ入力の使用を可能にするアプローチを紹介します。
シーケンス パッキングを採用することで、私たちのメソッド ElasticAST はトレーニング中にあらゆる音声の長さに対応し、それによって推論時にあらゆる長さと解像度にわたって柔軟性を提供します。
この柔軟性により、ElasticAST はさまざまな長さまたは解像度で評価機能を維持し、特定の長さまたは解像度でトレーニングされた標準 AST と同様のパフォーマンスを達成できます。
さらに、実験では、ネイティブ長の音声データセットでトレーニングおよび評価すると、ElasticAST のパフォーマンスが向上することが実証されています。

要約(オリジナル)

Transformers have rapidly overtaken CNN-based architectures as the new standard in audio classification. Transformer-based models, such as the Audio Spectrogram Transformers (AST), also inherit the fixed-size input paradigm from CNNs. However, this leads to performance degradation for ASTs in the inference when input lengths vary from the training. This paper introduces an approach that enables the use of variable-length audio inputs with AST models during both training and inference. By employing sequence packing, our method ElasticAST, accommodates any audio length during training, thereby offering flexibility across all lengths and resolutions at the inference. This flexibility allows ElasticAST to maintain evaluation capabilities at various lengths or resolutions and achieve similar performance to standard ASTs trained at specific lengths or resolutions. Moreover, experiments demonstrate ElasticAST’s better performance when trained and evaluated on native-length audio datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google