A Survey of Learning on Small Data: Generalization, Optimization, and Challenge

要約

ビッグデータでの学習は人工知能 (AI) に成功をもたらしますが、アノテーションとトレーニングのコストは高価です。
将来的には、ビッグデータの一般化能力に近似するスモールデータでの学習が AI の究極の目的の 1 つとなり、機械がスモールデータに依存して目的やシナリオを人間と同じように認識することが求められます。
アクティブラーニングや少数ショット学習など、一連の学習トピックがこのように進行します。
ただし、一般化パフォーマンスに対する理論的な保証はほとんどありません。
さらに、それらの設定のほとんどは受動的です。つまり、ラベルの分布は、既知の分布からの有限のトレーニング リソースによって明示的に制御されます。
この調査は、モデルに依存しない教師ありおよび教師なしの方法で、小規模データの学習の汎化誤差とラベルの複雑さを分析するために、PAC (Probbly Above Correct) フレームワークに基づいた不可知論的なアクティブ サンプリング理論に従います。
複数の学習コミュニティが小規模なデータ表現を生成する可能性があり、関連するトピックが十分に調査されていることを考慮して、小規模データに対する新しい幾何学的表現の観点、つまりユークリッド平均と非ユークリッド (双曲) 平均をサブジョインします。ここで、最適化ソリューションにはユークリッド勾配、非ユークリッド平均が含まれます。
ユークリッド勾配とシュタイン勾配について説明し、説明します。
その後、小規模データでの学習によって改善される可能性のある複数の学習コミュニティがまとめられ、転移学習、対比学習、グラフ表現学習などのデータ効率の高い表現が得られます。
一方、メタ学習は小さなデータの学習に効果的なパラメータ更新ポリシーを提供する可能性があることがわかりました。
次に、弱い監視やマルチラベルなど、小規模データに対する複数の困難なシナリオを検討します。
最後に、効率的な小さなデータ表現から恩恵を受ける可能性のある複数のデータ アプリケーションを調査します。

要約(オリジナル)

Learning on big data brings success for artificial intelligence (AI), but the annotation and training costs are expensive. In future, learning on small data that approximates the generalization ability of big data is one of the ultimate purposes of AI, which requires machines to recognize objectives and scenarios relying on small data as humans. A series of learning topics is going on this way such as active learning and few-shot learning. However, there are few theoretical guarantees for their generalization performance. Moreover, most of their settings are passive, that is, the label distribution is explicitly controlled by finite training resources from known distributions. This survey follows the agnostic active sampling theory under a PAC (Probably Approximately Correct) framework to analyze the generalization error and label complexity of learning on small data in model-agnostic supervised and unsupervised fashion. Considering multiple learning communities could produce small data representation and related topics have been well surveyed, we thus subjoin novel geometric representation perspectives for small data: the Euclidean and non-Euclidean (hyperbolic) mean, where the optimization solutions including the Euclidean gradients, non-Euclidean gradients, and Stein gradient are presented and discussed. Later, multiple learning communities that may be improved by learning on small data are summarized, which yield data-efficient representations, such as transfer learning, contrastive learning, graph representation learning. Meanwhile, we find that the meta-learning may provide effective parameter update policies for learning on small data. Then, we explore multiple challenging scenarios for small data, such as the weak supervision and multi-label. Finally, multiple data applications that may benefit from efficient small data representation are surveyed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google