Assessing the Impact of Sequence Length Learning on Classification Tasks for Transformer Encoder Models

要約

Transformer アーキテクチャを使用した分類アルゴリズムは、異なるクラスからの観測値の長さの分布が異なる場合は常に、系列長学習問題の影響を受ける可能性があります。
この問題により、モデルは重要なテキスト情報に依存する代わりに、予測特徴としてシーケンス長を使用するようになります。
ほとんどの公開データセットはこの問題の影響を受けませんが、医療や保険などの分野の私有コーパスにはこのデータ バイアスが存在する可能性があります。
これらの機械学習モデルは重要なアプリケーションで使用できるため、このシーケンス長の特徴を活用すると、バリュー チェーン全体に課題が生じます。
この論文では、この問題を実証的に明らかにし、その影響を最小限に抑えるためのアプローチを紹介します。

要約(オリジナル)

Classification algorithms using Transformer architectures can be affected by the sequence length learning problem whenever observations from different classes have a different length distribution. This problem causes models to use sequence length as a predictive feature instead of relying on important textual information. Although most public datasets are not affected by this problem, privately owned corpora for fields such as medicine and insurance may carry this data bias. The exploitation of this sequence length feature poses challenges throughout the value chain as these machine learning models can be used in critical applications. In this paper, we empirically expose this problem and present approaches to minimize its impacts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google