An approach to optimize inference of the DIART speaker diarization pipeline

要約

話者ダイアライゼーションは、音声ファイルについて「誰がいつ話したか」という質問に答えます。
一部の日記作成シナリオでは、文字起こしに低遅延が必要です。
低遅延の話者ダイアライゼーションは、オンライン話者ダイアライゼーションと呼ばれます。
DIART パイプラインは、オンラインの話者ダイアライゼーション システムです。
これはセグメンテーションと埋め込みモデルで構成されます。
埋め込みモデルは、全体のレイテンシで最大のシェアを占めます。
このペーパーの目的は、DIART パイプラインの推論レイテンシーを最適化することです。
知識の蒸留、枝刈り、量子化、レイヤー融合などのさまざまな推論最適化手法がパイプラインの埋め込みモデルに適用されます。
知識の蒸留は待ち時間を最適化しますが、精度には悪影響を与えることがわかりました。
量子化とレイヤー融合も、精度を悪化させることなくレイテンシーにプラスの影響を与えます。
一方、プルーニングによって遅延は改善されません。

要約(オリジナル)

Speaker diarization answers the question ‘who spoke when’ for an audio file. In some diarization scenarios, low latency is required for transcription. Speaker diarization with low latency is referred to as online speaker diarization. The DIART pipeline is an online speaker diarization system. It consists of a segmentation and an embedding model. The embedding model has the largest share of the overall latency. The aim of this paper is to optimize the inference latency of the DIART pipeline. Different inference optimization methods such as knowledge distilation, pruning, quantization and layer fusion are applied to the embedding model of the pipeline. It turns out that knowledge distillation optimizes the latency, but has a negative effect on the accuracy. Quantization and layer fusion also have a positive influence on the latency without worsening the accuracy. Pruning, on the other hand, does not improve latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google