Self-training from Self-memory in Data-to-text Generation

要約

この論文では、データからテキストへの生成 (DTG) における自己記憶からの自己訓練 (STSM) という新しいトレーニング モデルを紹介します。これにより、モデルが、訓練されたデータから直接推論される出力としての自己記憶を含むサブセット上で自己訓練できるようになります。
モデルや新しいデータ。
自己記憶の品質は、データからテキストへ (D2T) とテキストからデータへ (T2D) という 2 つのモデルによって、事前に定義された 2 つの条件によって検証されます。 (1) 出力内のすべてのソース値の出現
D2T モデル、および (2) T2D モデルの出力のソース データに変換し直す機能。
すべてのソース値が含まれている場合、貪欲なアルゴリズムを利用して短い D2T 出力を生成します。
次に、T2D モデルを使用して、テキストをデータに変換し直す能力を実証することで、これらの出力が入力関係をキャプチャできることを確認します。
データセットの 30% を使用すると、同じ設定での完全なトレーニングと比較して、優れたパフォーマンスで D2T モデルをトレーニングできます。
E2E NLG と DART という 2 つのデータセットでモデルを実験します。
STSM は、トレーニング データ量を削減しながら、サブセット メモリからの汎化機能を D2T モデルに提供します。
最終的には、この論文が新しいトレーニング データに適応し、それを DTG タスクの自己記憶の形式として組み込む継続的な学習ソリューションに貢献することを期待しています。
厳選されたデータセットは、https://github.com/hoangthangta/STSM で公開されています。

要約(オリジナル)

This paper introduces a novel training model, self-training from self-memory (STSM) in data-to-text generation (DTG), allowing the model to self-train on subsets, including self-memory as outputs inferred directly from the trained models and/or the new data. The quality of self-memory is validated by two models, data-to-text (D2T) and text-to-data (T2D), by two pre-defined conditions: (1) the appearance of all source values in the outputs of the D2T model and (2) the ability to convert back to source data in the outputs in the T2D model. We utilize a greedy algorithm to generate shorter D2T outputs if they contain all source values. Subsequently, we use the T2D model to confirm that these outputs can capture input relationships by demonstrating their capacity to convert text back into data. With 30% of the dataset, we can train the D2T model with a competitive performance compared to full training in the same setup. We experiment with our model on two datasets, E2E NLG and DART. STSM offers the D2T model a generalization capability from its subset memory while reducing training data volume. Ultimately, we anticipate that this paper will contribute to continual learning solutions that adapt to new training data, incorporating it as a form of self-memory in DTG tasks. The curated dataset is publicly available at: https://github.com/hoangthangta/STSM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google