Analyzing the Generalizability of Deep Contextualized Language Representations For Text Classification

要約

この研究では、2 つの最先端の深層文脈言語表現 ELMo と DistilBERT のロバスト性を、バイナリ抗議ニュース分類の教師あり学習と製品レビューのセンチメント分析で評価します。
「クロスコンテキスト」設定は、トレーニング データとは異なるテスト セットを使用して有効になります。
具体的には、ニュース分類タスクでは、モデルはインドのローカル ニュースで開発され、中国のローカル ニュースでテストされます。
感情分析タスクでは、モデルは映画のレビューでトレーニングされ、顧客のレビューでテストされます。
この比較は、現実のシナリオに一般化できるシステムへの道のりで、今日の自然言語処理システムの代表力の限界を探ることを目的としています。
モデルは微調整され、フィードフォワード ニューラル ネットワークと双方向長短期記憶ネットワークに供給されます。
多項単純ベイズと線形サポート ベクター マシンが従来のベースラインとして使用されます。
結果は、バイナリテキスト分類では、クロスコンテキスト設定への一般化において、DistilBERT が ELMo よりも大幅に優れていることを示しています。
ELMo は、両方のベースラインよりもクロス コンテキスト テスト データに対して大幅に堅牢であることが観察されています。
一方、トレーニング データとテスト データが同じコーパスのサブセットである場合 (クロス コンテキストがない場合)、ベースラインは ELMo と同等のパフォーマンスを示しました。
DistilBERT は、ELMo よりも 30% 小さく、83% 高速であることもわかっています。
この結果は、DistilBERT が一般的なセマンティック知識を ELMo よりも他のドメインにうまく転送できることを示唆しています。
DistilBERT は、必要な計算トレーニングの予算が少ないため、実際のシステムに組み込むのにも適しています。
一般化が最優先ではなく、テスト ドメインがトレーニング ドメインに似ている場合、従来の ML アルゴリズムは、深い言語表現のより経済的な代替手段と見なすことができます。

要約(オリジナル)

This study evaluates the robustness of two state-of-the-art deep contextual language representations, ELMo and DistilBERT, on supervised learning of binary protest news classification and sentiment analysis of product reviews. A ‘cross-context’ setting is enabled using test sets that are distinct from the training data. Specifically, in the news classification task, the models are developed on local news from India and tested on the local news from China. In the sentiment analysis task, the models are trained on movie reviews and tested on customer reviews. This comparison is aimed at exploring the limits of the representative power of today’s Natural Language Processing systems on the path to the systems that are generalizable to real-life scenarios. The models are fine-tuned and fed into a Feed-Forward Neural Network and a Bidirectional Long Short Term Memory network. Multinomial Naive Bayes and Linear Support Vector Machine are used as traditional baselines. The results show that, in binary text classification, DistilBERT is significantly better than ELMo on generalizing to the cross-context setting. ELMo is observed to be significantly more robust to the cross-context test data than both baselines. On the other hand, the baselines performed comparably well to ELMo when the training and test data are subsets of the same corpus (no cross-context). DistilBERT is also found to be 30% smaller and 83% faster than ELMo. The results suggest that DistilBERT can transfer generic semantic knowledge to other domains better than ELMo. DistilBERT is also favorable in incorporating into real-life systems for it requires a smaller computational training budget. When generalization is not the utmost preference and test domain is similar to the training domain, the traditional ML algorithms can still be considered as more economic alternatives to deep language representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google