Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques

要約

テキスト生成は、計算方法を使用して書面または音声言語を生成する自動化されたプロセスです。
これには、事前定義されたルールまたは学習パターンに基づいて、コヒーレントで文脈的に関連するテキストを生成することが含まれます。
ただし、テキスト生成の課題は、一貫性を維持し、多様性と創造性を確保し、バイアスや不適切なコンテンツを回避することから生じます。
この研究論文は、共同自然言語生成（NLG）と自然言語理解（NLU）学習のコンテキストでテキスト生成を改善するための新しいアプローチを開発しました。
データは、クリーニング、トークン化、茎、ストップワードの除去を含む注釈付きデータセットを収集および前処理することによって作成されます。
POSタグ付け、単語の袋、用語周波数逆ドキュメント周波数（TF-IDF）などの特徴抽出技術が適用されます。
トランスベースのエンコーダーとデコーダー、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。
最適化されたBertのような事前に訓練された言語モデルは、ハイブリッドレッドフォックス人工ハミングバードアルゴリズム（HRAHA）とともに組み込まれています。
ポリシーグラデーションテクニック、半監視トレーニング、注意メカニズムの改善、およびストレートスルーガンベルソフトマックス推定器などの微分可能な近似を使用した強化学習が使用され、モデルを微調整し、複雑な言語タスクを効果的に処理します。
提案されたモデルは、Pythonを使用して実装されます。

要約(オリジナル)

Text generation is the automated process of producing written or spoken language using computational methods. It involves generating coherent and contextually relevant text based on predefined rules or learned patterns. However, challenges in text generation arise from maintaining coherence, ensuring diversity and creativity, and avoiding biases or inappropriate content. This research paper developed a novel approach to improve text generation in the context of joint Natural Language Generation (NLG) and Natural Language Understanding (NLU) learning. The data is prepared by gathering and preprocessing annotated datasets, including cleaning, tokenization, stemming, and stop-word removal. Feature extraction techniques such as POS tagging, Bag of words, and Term Frequency-Inverse Document Frequency (TF-IDF) are applied. Transformer-based encoders and decoders, capturing long range dependencies and improving source-target sequence modelling. Pre-trained language models like Optimized BERT are incorporated, along with a Hybrid Redfox Artificial Hummingbird Algorithm (HRAHA). Reinforcement learning with policy gradient techniques, semi-supervised training, improved attention mechanisms, and differentiable approximations like straight-through Gumbel SoftMax estimator are employed to fine-tune the models and handle complex linguistic tasks effectively. The proposed model is implemented using Python.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google