An Ensemble Approach to Question Classification: Integrating Electra Transformer, GloVe, and LSTM

要約

自然言語処理 (NLP) は、人間の言語を理解して生成するための重要なテクノロジーとして浮上しており、機械翻訳、感情分析、さらに適切な質問分類などのタスクで重要な役割を果たしています。
NLP 内のサブフィールドとして、質問分類は、質問応答システムなどの下流アプリケーションの基本的なステップである、求められている情報の種類を決定することに重点を置いています。
この研究では、Electra、GloVe、LSTM モデルの長所を組み合わせた、質問分類のための革新的なアンサンブル アプローチを紹介します。
このモデルは、評判の高い TREC データセットで厳密にテストされ、これらの異種テクノロジーの統合がどのようにして優れた結果につながるかを示しています。
Electra は複雑な言語を理解するためのトランスフォーマー ベースの機能を導入し、GloVe は単語レベルのセマンティクスをキャプチャするためのグローバル ベクトル表現を提供し、LSTM は長期依存関係をモデル化するためのシーケンス学習機能に貢献します。
これらの要素を戦略的に融合することで、私たちのアンサンブル モデルは、質問分類の複雑なタスクに対して堅牢で効率的なソリューションを提供します。
BERT、RoBERTa、DistilBERT などのよく知られたモデルとの厳密な比較を通じて、アンサンブル アプローチはテスト データセットで 80% の精度スコアを達成することでその有効性を検証します。

要約(オリジナル)

Natural Language Processing (NLP) has emerged as a crucial technology for understanding and generating human language, playing an essential role in tasks such as machine translation, sentiment analysis, and more pertinently, question classification. As a subfield within NLP, question classification focuses on determining the type of information being sought, a fundamental step for downstream applications like question answering systems. This study presents an innovative ensemble approach for question classification, combining the strengths of Electra, GloVe, and LSTM models. Rigorously tested on the well-regarded TREC dataset, the model demonstrates how the integration of these disparate technologies can lead to superior results. Electra brings in its transformer-based capabilities for complex language understanding, GloVe offers global vector representations for capturing word-level semantics, and LSTM contributes its sequence learning abilities to model long-term dependencies. By fusing these elements strategically, our ensemble model delivers a robust and efficient solution for the complex task of question classification. Through rigorous comparisons with well-known models like BERT, RoBERTa, and DistilBERT, the ensemble approach verifies its effectiveness by attaining an 80% accuracy score on the test dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google