Adapting Sentence Transformers for the Aviation Domain

要約

効果的な文表現を学習することは、意味検索、意味テキスト類似性 (STS)、クラスタリングなどの多くの自然言語処理 (NLP) タスクにとって非常に重要です。
文埋め込み学習用に複数の変換モデルが開発されていますが、専門用語、略語、型破りな文法などの独自の特性を持つ航空などの特殊な領域を扱う場合、これらのモデルは最適に機能しない可能性があります。
さらに、ラベル付きデータセットが存在しないため、特に航空ドメイン向けのモデルをトレーニングすることが困難になります。
これらの課題に対処するために、航空分野にセンテンストランスフォーマーを適応させるための新しいアプローチを提案します。
私たちの方法は、事前トレーニングとそれに続く微調整からなる 2 段階のプロセスです。
事前トレーニング中に、航空テキスト データを入力として Transformers と Sequential Denoising AutoEncoder (TSDAE) を使用して、初期モデルのパフォーマンスを向上させます。
次に、SBERT (Sentence Bidirectional Encoder Representations from Transformers) アーキテクチャの Natural Language Inference (NLI) データセットを使用してモデルを微調整し、過学習の問題を軽減します。
いくつかの下流タスクに関する実験結果は、適応された文トランスフォーマーが汎用トランスフォーマーよりも大幅に優れていることを示しており、航空ドメインのニュアンスを捉える際の私たちのアプローチの有効性を実証しています。
全体として、私たちの取り組みは、航空などの特殊な業界向けの高品質な NLP ソリューションを開発する際のドメイン固有の適応の重要性を強調しています。

要約(オリジナル)

Learning effective sentence representations is crucial for many Natural Language Processing (NLP) tasks, including semantic search, semantic textual similarity (STS), and clustering. While multiple transformer models have been developed for sentence embedding learning, these models may not perform optimally when dealing with specialized domains like aviation, which has unique characteristics such as technical jargon, abbreviations, and unconventional grammar. Furthermore, the absence of labeled datasets makes it difficult to train models specifically for the aviation domain. To address these challenges, we propose a novel approach for adapting sentence transformers for the aviation domain. Our method is a two-stage process consisting of pre-training followed by fine-tuning. During pre-training, we use Transformers and Sequential Denoising AutoEncoder (TSDAE) with aviation text data as input to improve the initial model performance. Subsequently, we fine-tune our models using a Natural Language Inference (NLI) dataset in the Sentence Bidirectional Encoder Representations from Transformers (SBERT) architecture to mitigate overfitting issues. Experimental results on several downstream tasks show that our adapted sentence transformers significantly outperform general-purpose transformers, demonstrating the effectiveness of our approach in capturing the nuances of the aviation domain. Overall, our work highlights the importance of domain-specific adaptation in developing high-quality NLP solutions for specialized industries like aviation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google