Fine-tuning Whisper on Low-Resource Languages for Real-World Applications

要約

このペーパーでは、Swissドイツ語をケーススタディとして使用して、文レベルデータを長型のコーパスに変換する新しいデータ生成方法を導入することにより、低リソース言語のOpenaiのささやきモデルを微調整するための新しいアプローチを提示します。
長期にわたるオーディオのパフォーマンスを改善する可能性のある非センテンスレベルのデータは、取得が困難であり、著作権法によってしばしば制限されています。
私たちのメソッドは、よりアクセスしやすい文レベルのデータを、非センテンスレベルのデータを必要とせずに長期のオーディオを処理し、セグメンテーションを実行するモデルの機能を保持する形式に変換することにより、このギャップを橋渡しします。
データ生成プロセスは、いくつかの現実世界のアプリケーションでのパフォーマンスを改善し、スイスドイツの新しい最先端のスピーチツーテキスト（STT）モデルの開発につながります。
モデルを、ファインチューニングされていないささやきと以前の最先端のドイツのSTTモデルと比較します。ここでは、新しいモデルがより高いBLEUスコアを達成しています。
また、私たちの結果は、提案された方法が、セグメンテーション機能を維持し、高品質の文レベルデータのみを使用してより長いオーディオファイルの転写を可能にする微調整されたウィスパーモデルの作成を可能にする書面によるガイダンスとコードによってサポートされる他の低リソース言語に適応できることを示しています。

要約(オリジナル)

This paper presents a new approach to fine-tuning OpenAI’s Whisper model for low-resource languages by introducing a novel data generation method that converts sentence-level data into a long-form corpus, using Swiss German as a case study. Non-sentence-level data, which could improve the performance of long-form audio, is difficult to obtain and often restricted by copyright laws. Our method bridges this gap by transforming more accessible sentence-level data into a format that preserves the model’s ability to handle long-form audio and perform segmentation without requiring non-sentence-level data. Our data generation process improves performance in several real-world applications and leads to the development of a new state-of-the-art speech-to-text (STT) model for Swiss German. We compare our model with a non-fine-tuned Whisper and our previous state-of-the-art Swiss German STT models, where our new model achieves higher BLEU scores. Our results also indicate that the proposed method is adaptable to other low-resource languages, supported by written guidance and code that allows the creation of fine-tuned Whisper models, which keep segmentation capabilities and allow the transcription of longer audio files using only sentence-level data with high quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google