Informed Meta-Learning

要約

実際のアプリケーションで一般的なノイズの多い低データ環境では、機械学習の主な課題は、データの効率と堅牢性を促進する帰納的バイアスを効果的に組み込むことにあります。
メタ学習とインフォームド ML は、事前知識を ML パイプラインに組み込むための 2 つのアプローチとして際立っています。
前者は純粋にデータ駆動型の事前情報ソースに依存しますが、後者は事前のドメイン知識によって導かれます。
この論文では、自然言語などの非構造化知識表現からの事前分布の組み込みを容易にする、ハイブリッド パラダイムであるインフォームド メタ学習を形式化します。
したがって、人間と機械のタスクを越えた知識共有における補完性が解放されます。
私たちは、情報に基づいたメタ学習の基本コンポーネントを確立し、このフレームワーク、つまり情報に基づいたニューラル プロセスの具体的なインスタンスを提示します。
一連の実験を通じて、データ効率、観測ノイズおよびタスク分布の変化に対する堅牢性の向上における、情報に基づいたメタ学習の潜在的な利点を実証します。

要約(オリジナル)

In noisy and low-data regimes prevalent in real-world applications, a key challenge of machine learning lies in effectively incorporating inductive biases that promote data efficiency and robustness. Meta-learning and informed ML stand out as two approaches for incorporating prior knowledge into ML pipelines. While the former relies on a purely data-driven source of priors, the latter is guided by prior domain knowledge. In this paper, we formalise a hybrid paradigm, informed meta-learning, facilitating the incorporation of priors from unstructured knowledge representations, such as natural language; thus, unlocking complementarity in cross-task knowledge sharing of humans and machines. We establish the foundational components of informed meta-learning and present a concrete instantiation of this framework–the Informed Neural Process. Through a series of experiments, we demonstrate the potential benefits of informed meta-learning in improving data efficiency, robustness to observational noise and task distribution shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google