Learning Using Generated Privileged Information by Text-to-Image Diffusion Models

要約

特権情報を使用した学習は、教師モデルがトレーニング中に特権情報と呼ばれる追加のデータ表現から恩恵を受ける特定のタイプの知識蒸留であり、追加の表現を見ない学生モデルを改善します。
しかし、実際には特権情報が入手できることはほとんどありません。
この目的を達成するために、テキストから画像への拡散モデルを利用して人工的な特権情報を生成するテキスト分類フレームワークを提案します。
生成された画像と元のテキスト サンプルは、最先端のトランスフォーマー ベースのアーキテクチャに基づいてマルチモーダル教師モデルをトレーニングするためにさらに使用されます。
最後に、マルチモーダル教師からの知識がテキストベースの (ユニモーダルな) 生徒に蒸留されます。
したがって、生成モデルを使用して特権情報として合成データを生成することにより、学生モデルのトレーニングをガイドします。
Learning using Generated Privileged Information (LUGPI) と呼ばれる私たちのフレームワークは、4 つのテキスト分類データセットで顕著なパフォーマンス向上をもたらし、推論中に追加コストをかけずにテキスト分類における可能性を実証しています。

要約(オリジナル)

Learning Using Privileged Information is a particular type of knowledge distillation where the teacher model benefits from an additional data representation during training, called privileged information, improving the student model, which does not see the extra representation. However, privileged information is rarely available in practice. To this end, we propose a text classification framework that harnesses text-to-image diffusion models to generate artificial privileged information. The generated images and the original text samples are further used to train multimodal teacher models based on state-of-the-art transformer-based architectures. Finally, the knowledge from multimodal teachers is distilled into a text-based (unimodal) student. Hence, by employing a generative model to produce synthetic data as privileged information, we guide the training of the student model. Our framework, called Learning Using Generated Privileged Information (LUGPI), yields noticeable performance gains on four text classification data sets, demonstrating its potential in text classification without any additional cost during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google