Audio classification with Dilated Convolution with Learnable Spacings

要約

学習可能な間隔を備えた拡張畳み込み (DCLS) は、バックプロパゲーションによるトレーニングを通じてカーネル要素の位置を学習する最近の畳み込み手法です。
その関心は最近、コンピュータ ビジョン (ImageNet 分類および下流タスク) で実証されました。
ここでは、AudioSet 分類ベンチマークを使用して、DCLS がオーディオのタグ付けにも役立つことを示します。
私たちは、深さ方向分離可能畳み込み (DSC) を使用する 2 つの最先端の畳み込みアーキテクチャ、ConvNeXt と ConvFormer、およびアテンションと FastViT を使用するハイブリッド アーキテクチャを採用し、ドロップインによりすべての DSC レイヤーが DCLS レイヤーに置き換えられました。
これにより、パラメーターの数を増やすことなく、スループットの低コストのみで、3 つのアーキテクチャの平均平均精度 (mAP) が大幅に向上しました。
メソッド コードは PyTorch に基づいており、https://github.com/K-H-Ismail/DCLS-Audio で入手できます。

要約(オリジナル)

Dilated convolution with learnable spacings (DCLS) is a recent convolution method in which the positions of the kernel elements are learned throughout training by backpropagation. Its interest has recently been demonstrated in computer vision (ImageNet classification and downstream tasks). Here we show that DCLS is also useful for audio tagging using the AudioSet classification benchmark. We took two state-of-the-art convolutional architectures using depthwise separable convolutions (DSC), ConvNeXt and ConvFormer, and a hybrid one using attention in addition, FastViT, and drop-in replaced all the DSC layers by DCLS ones. This significantly improved the mean average precision (mAP) with the three architectures without increasing the number of parameters and with only a low cost on the throughput. The method code is based on PyTorch and is available at https://github.com/K-H-Ismail/DCLS-Audio

arxiv情報

提供元, 利用サービス

arxiv.jp, Google