An Ensemble Approach to Question Classification: Integrating Electra Transformer, GloVe, and LSTM

要約

この論文では、Electra、GloVe、LSTM などの最先端のモデルを使用した、質問分類のための新しいアンサンブル アプローチを紹介します。
提案されたモデルは、質問分類タスクの十分に確立されたベンチマークである TREC データセット上でトレーニングおよび評価されます。
アンサンブル モデルは、言語理解のためのトランスフォーマー ベースのモデルである Electra、単語表現のためのグローバル ベクトルである GloVe、リカレント ニューラル ネットワークのバリアントである LSTM の長所を組み合わせており、質問分類のための堅牢かつ効率的なソリューションを提供します。
提案されたアンサンブル アプローチのパフォーマンスを、BERT、RoBERTa、DistilBERT などの他の最先端モデルと比較するために、広範な実験が実行されました。
私たちの結果は、アンサンブル モデルがすべての評価指標にわたってこれらのモデルよりも優れており、テスト セットで 0.8 の精度を達成していることを示しています。
これらの発見は、質問分類タスクのパフォーマンス向上におけるアンサンブル アプローチの有効性を強調し、自然言語処理におけるアンサンブル手法のさらなる探求を促します。

要約(オリジナル)

This paper introduces a novel ensemble approach for question classification using state-of-the-art models — Electra, GloVe, and LSTM. The proposed model is trained and evaluated on the TREC dataset, a well-established benchmark for question classification tasks. The ensemble model combines the strengths of Electra, a transformer-based model for language understanding, GloVe, a global vectors for word representation, and LSTM, a recurrent neural network variant, providing a robust and efficient solution for question classification. Extensive experiments were carried out to compare the performance of the proposed ensemble approach with other cutting-edge models, such as BERT, RoBERTa, and DistilBERT. Our results demonstrate that the ensemble model outperforms these models across all evaluation metrics, achieving an accuracy of 0.8 on the test set. These findings underscore the effectiveness of the ensemble approach in enhancing the performance of question classification tasks, and invite further exploration of ensemble methods in natural language processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google