MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models

要約

自己教師あり学習 (SSL) は、音声処理における人気の研究トピックです。
SSL 音声モデルを成功させるには、適切に一般化する必要があります。
SUPERB は、多くの音声タスクにわたる SSL 音声モデルの能力を評価するために提案されました。
ただし、タスクが多様であるため、評価プロセスには膨大な計算コストが必要です。
MiniSUPERB は、計算コストを大幅に削減しながら、SUPERB と同等の結果で SSL 音声モデルを効率的に評価する軽量ベンチマークです。
代表的なタスクとサンプル データセットを選択し、モデル表現をオフラインで抽出し、SUPERB Paper および SUPERB Challenge とそれぞれ 0.954 および 0.982 の Spearman 順位相関を達成しました。
一方、選択したタスクの MAC (積和演算の数) に関しては、計算コストが 97% 削減されます。
私たちの知る限り、これはモデル自体の計算コストだけでなく、ベンチマークでの評価コストも調査した最初の研究です。

要約(オリジナル)

Self-supervised learning (SSL) is a popular research topic in speech processing. Successful SSL speech models must generalize well. SUPERB was proposed to evaluate the ability of SSL speech models across many speech tasks. However, due to the diversity of tasks, the evaluation process requires huge computational costs. We present MiniSUPERB, a lightweight benchmark that efficiently evaluates SSL speech models with comparable results to SUPERB while greatly reducing the computational cost. We select representative tasks and sample datasets and extract model representation offline, achieving 0.954 and 0.982 Spearman’s rank correlation with SUPERB Paper and SUPERB Challenge, respectively. In the meanwhile, the computational cost is reduced by 97% in regard to MACs (number of Multiply-ACcumulate operations) in the tasks we choose. To the best of our knowledge, this is the first study to examine not only the computational cost of a model itself but the cost of evaluating it on a benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google