Few-shot learning approaches for classifying low resource domain specific software requirements

要約

BERT、DeBERTa、MiniLM、T5 などの事前トレーニング済みの強力な自然言語処理モデルの出現により、業界がこれらのモデルをニッチなユースケースに合わせて微調整するためのデータ要件は大幅に削減されました (通常、達成するための数百の注釈付きサンプル)。
合理的なパフォーマンス）。
ただし、数百の注釈付きサンプルでさえ、自動車のようなリソースの少ないドメインでは常に保証されるとは限りません。そのため、産業環境でのこのようなディープラーニング モデルの使用が制限されることがよくあります。
このホワイト ペーパーでは、少数の注釈付きサンプル (Few-shot learning とも呼ばれる) のみを使用して、このような事前トレーニング済みモデルを微調整するという課題に対処することを目的としています。
私たちの実験では、BOSCH 自動車ドメインのテキスト ソフトウェア要件を 3 つのカテゴリに分類するタスクを達成するために、アルゴリズムと方法論の多様なセットのパフォーマンスを評価することに焦点を当てています。
SciBERT および DeBERTa ベースのモデルは、15 個のトレーニング サンプルで最も正確になる傾向がありますが、シャムおよび T5 ベースのモデルと比較して、注釈付きサンプルの数が 50 に増加すると、パフォーマンスの向上は最小限に抑えられます。

要約(オリジナル)

With the advent of strong pre-trained natural language processing models like BERT, DeBERTa, MiniLM, T5, the data requirement for industries to fine-tune these models to their niche use cases has drastically reduced (typically to a few hundred annotated samples for achieving a reasonable performance). However, the availability of even a few hundred annotated samples may not always be guaranteed in low resource domains like automotive, which often limits the usage of such deep learning models in an industrial setting. In this paper we aim to address the challenge of fine-tuning such pre-trained models with only a few annotated samples, also known as Few-shot learning. Our experiments focus on evaluating the performance of a diverse set of algorithms and methodologies to achieve the task of classifying BOSCH automotive domain textual software requirements into 3 categories, while utilizing only 15 annotated samples per category for fine-tuning. We find that while SciBERT and DeBERTa based models tend to be the most accurate at 15 training samples, their performance improvement scales minimally as the number of annotated samples is increased to 50 in comparison to Siamese and T5 based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google