Linguistic Fingerprint in Transformer Models: How Language Variation Influences Parameter Selection in Irony Detection

要約

この論文では、言語の多様性、感情分析、およびトランスフォーマー モデル アーキテクチャの間の相関関係を調査します。
私たちは、英語のバリエーションの違いがアイロニー検出のための変圧器ベースのモデルにどのような影響を与えるかを調査することを目的としています。
研究を実施するために、EPIC コーパスを使用して 5 つの多様な英語バリエーション固有のデータセットを抽出し、5 つの異なるアーキテクチャに KEN 枝刈りアルゴリズムを適用しました。
私たちの結果は、最適なサブネットワーク間のいくつかの類似点を明らかにし、強い類似性を共有する言語バリエーションとより大きな相違点を示す言語バリエーションについての洞察を提供します。
私たちは、モデル間の最適なサブネットワークがパラメーターの少なくとも 60% を共有していることを発見し、言語のバリエーションを捕捉および解釈する際のパラメーター値の重要性を強調しました。
この研究では、同じ言語のさまざまなバリエーションでトレーニングされたモデル間の固有の構造的類似点と、これらのニュアンスを捉える際のパラメーター値の重要な役割が強調されています。

要約(オリジナル)

This paper explores the correlation between linguistic diversity, sentiment analysis and transformer model architectures. We aim to investigate how different English variations impact transformer-based models for irony detection. To conduct our study, we used the EPIC corpus to extract five diverse English variation-specific datasets and applied the KEN pruning algorithm on five different architectures. Our results reveal several similarities between optimal subnetworks, which provide insights into the linguistic variations that share strong resemblances and those that exhibit greater dissimilarities. We discovered that optimal subnetworks across models share at least 60% of their parameters, emphasizing the significance of parameter values in capturing and interpreting linguistic variations. This study highlights the inherent structural similarities between models trained on different variants of the same language and also the critical role of parameter values in capturing these nuances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google