Concept Discovery for Fast Adapatation

要約

タイトル：Concept Discovery for Fast Adapatation

要約：

– 深層学習の進歩により、機械学習手法が様々な分野で人間を上回るようになりました。しかし、よく訓練されたモデルが新しいタスクに迅速に適応することはまだ大きな課題です。
– この目標を実現するための有望な解決策の1つは、「メタ学習」と呼ばれる、少数のサンプルで学習する方法で、この手法は少数のショット学習において有望な結果を出しています。
– しかしながら、現在のアプローチは人間の学習プロセスと非常に異なり、特に構造化されて転移可能な知識を抽出する能力に欠けています。この欠点のため、現在のメタ学習フレームワークは非解釈性があり、より複雑なタスクに拡張するのが難しいです。
– 私たちはこの問題に取り組み、コンセプト発見を少数のショット学習問題に導入することで、データの特徴の構造をメタ学習することで、データの合成表現につながり、より効果的な適応を実現しています。
– 私たちが提案した手法、「概念ベースのモデルアグノスティックメタ学習（COMAML）」は、合成データセットと実世界のデータセットの両方で構造化されたデータで一貫した改善を実現しています。

要約(オリジナル)

The advances in deep learning have enabled machine learning methods to outperform human beings in various areas, but it remains a great challenge for a well-trained model to quickly adapt to a new task. One promising solution to realize this goal is through meta-learning, also known as learning to learn, which has achieved promising results in few-shot learning. However, current approaches are still enormously different from human beings’ learning process, especially in the ability to extract structural and transferable knowledge. This drawback makes current meta-learning frameworks non-interpretable and hard to extend to more complex tasks. We tackle this problem by introducing concept discovery to the few-shot learning problem, where we achieve more effective adaptation by meta-learning the structure among the data features, leading to a composite representation of the data. Our proposed method Concept-Based Model-Agnostic Meta-Learning (COMAML) has been shown to achieve consistent improvements in the structured data for both synthesized datasets and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI