RPLKG: Robust Prompt Learning with Knowledge Graph

要約

タイトル：知識グラフを用いた堅牢なプロンプト学習（RPLKG）

要約：
– 大規模事前学習モデルは、転移性があり、未知のデータセットでも汎用的に使用できることが知られています。
– しかしながら、ラベル付きデータセットが限定されている場合、新しいデータセットやドメインの汎化はまだ課題である。
– この結果、プロンプト学習やアダプタなど、様々な試みが行われてきましたが、現在のfew-shot適応方法は解釈が困難であり、適応に高い計算コストが必要です。
– この研究では、知識グラフに基づく堅牢なプロンプト学習法（RPLKG）を提案しています。
– 知識グラフに基づいて、多様な解釈可能で意味のあるプロンプトセットを自動的に設計します。
– 一度の転送で大規模事前学習モデルのエンベッディングをキャッシュし、その後GumbelSoftmaxでプロンプト選択プロセスを最適化します。
– この方法により、RPLKGは比較的少ないメモリと学習時間で訓練されます。
– また、RPLKGはデータセットに応じて最適なプロンプトを自動的に選択します。
– RPLKGはi）解釈可能、ii）小さな計算リソースが必要であり、iii）人間の先行知識を容易に統合できるという特長があります。
– RPLKGの妥当性を検証するために、few-shot学習、ドメイン汎化、新しいクラス汎化設定で包括的な実験結果を提供しています。
– RPLKGはゼロショット学習に比べて大幅な性能向上を示し、かなり低いリソースでいくつかのプロンプト学習方法と競合する性能を発揮します。

要約(オリジナル)

Large-scale pre-trained models have been known that they are transferable, and they generalize well on the unseen dataset. Recently, multimodal pre-trained models such as CLIP show significant performance improvement in diverse experiments. However, when the labeled dataset is limited, the generalization of a new dataset or domain is still challenging. To improve the generalization performance on few-shot learning, there have been diverse efforts, such as prompt learning and adapter. However, the current few-shot adaptation methods are not interpretable, and they require a high computation cost for adaptation. In this study, we propose a new method, robust prompt learning with knowledge graph (RPLKG). Based on the knowledge graph, we automatically design diverse interpretable and meaningful prompt sets. Our model obtains cached embeddings of prompt sets after one forwarding from a large pre-trained model. After that, model optimizes the prompt selection processes with GumbelSoftmax. In this way, our model is trained using relatively little memory and learning time. Also, RPLKG selects the optimal interpretable prompt automatically, depending on the dataset. In summary, RPLKG is i) interpretable, ii) requires small computation resources, and iii) easy to incorporate prior human knowledge. To validate the RPLKG, we provide comprehensive experimental results on few-shot learning, domain generalization and new class generalization setting. RPLKG shows a significant performance improvement compared to zero-shot learning and competitive performance against several prompt learning methods using much lower resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI