Voice Signal Processing for Machine Learning. The Case of Speaker Isolation

要約

自動音声アシスタントの普及とその他の最近の技術開発により、特に音声信号や人間の音声を処理するアプリケーションの需要が増加しています。
音声認識タスクは通常、人工知能と機械学習モデルを使用して実行されます。
エンドツーエンド モデルが存在する場合でも、信号を適切に前処理するとタスクの複雑さが大幅に軽減され、よりシンプルな ML モデルとより少ない計算リソースでタスクを解決できるようになります。
ただし、このようなタスクに取り組む ML エンジニアは、まったく異なる専門分野である信号処理の背景を持っていない可能性があります。
この研究の目的は、オーディオ処理タスクの信号分解方法として最も一般的に使用されるフーリエ変換とウェーブレット変換の簡潔な比較分析を提供することです。
音声明瞭度を評価するための指標、つまりスケール不変信号対歪み比 (SI-SDR)、音声品質の知覚評価 (PESQ)、および短時間客観的明瞭度 (STOI) についても説明します。
説明の詳細レベルは、ML エンジニアが特定の ML モデルの分解方法を選択、微調整、評価する際に情報に基づいた意思決定を行うのに十分であることを意味します。
この解説には、信号処理に関する深い専門知識を持たないエンジニアでもテキストを理解しやすいように、関連する概念の数学的定義と非数学的説明が含まれています。
本文を簡潔にするために、正式な数学的定義と定理の証明は意図的に省略されています。

要約(オリジナル)

The widespread use of automated voice assistants along with other recent technological developments have increased the demand for applications that process audio signals and human voice in particular. Voice recognition tasks are typically performed using artificial intelligence and machine learning models. Even though end-to-end models exist, properly pre-processing the signal can greatly reduce the complexity of the task and allow it to be solved with a simpler ML model and fewer computational resources. However, ML engineers who work on such tasks might not have a background in signal processing which is an entirely different area of expertise. The objective of this work is to provide a concise comparative analysis of Fourier and Wavelet transforms that are most commonly used as signal decomposition methods for audio processing tasks. Metrics for evaluating speech intelligibility are also discussed, namely Scale-Invariant Signal-to-Distortion Ratio (SI-SDR), Perceptual Evaluation of Speech Quality (PESQ), and Short-Time Objective Intelligibility (STOI). The level of detail in the exposition is meant to be sufficient for an ML engineer to make informed decisions when choosing, fine-tuning, and evaluating a decomposition method for a specific ML model. The exposition contains mathematical definitions of the relevant concepts accompanied with intuitive non-mathematical explanations in order to make the text more accessible to engineers without deep expertise in signal processing. Formal mathematical definitions and proofs of theorems are intentionally omitted in order to keep the text concise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google