Knowledge-driven Active Learning

要約

教師付きデータの量が制限されている状況では、ディープ ラーニング (DL) モデルの導入は依然として妨げられています。
この問題に答えるために、アクティブ ラーニング戦略は、DL モデルのトレーニングに必要なラベル付きデータの量を最小限に抑えることを目的としています。
ほとんどのアクティブな戦略は不確実なサンプル選択に基づいており、多くの場合、決定境界近くにあるサンプルに限定されます。
これらの技術は理論的には適切ですが、その内容に基づいて選択されたサンプルを理解するのは簡単ではなく、さらに専門家以外の人が DL をブラックボックスとして考えるようになっています。
ここで初めて、共通のドメイン知識を考慮し、専門家でないユーザーでも少ないサンプルでモデルをトレーニングできるようにすることを提案します。
当社の知識駆動型アクティブ ラーニング (KAL) フレームワークでは、ルールベースの知識が論理制約に変換され、その違反がサンプル選択の自然なガイドとしてチェックされます。
データと出力クラス間の単純な関係であっても、モデルの監視が必要な予測を特定する方法が提供されることを示します。
我々は、KAL が、(i) 特にドメイン知識が豊富なコンテキストにおいて、多くのアクティブ ラーニング戦略よりも優れたパフォーマンスを発揮すること、(ii) 初期トレーニング データから遠く離れたデータ分布を発見すること、(iii) 提供された知識がドメイン専門家に確実に提供されることを実証的に示しています。
はモデルによって取得され、(iv) 不確実性に基づく戦略とは異なり、回帰タスクやオブジェクト認識タスクに適しており、(v) 計算需要が低い。

要約(オリジナル)

The deployment of Deep Learning (DL) models is still precluded in those contexts where the amount of supervised data is limited. To answer this issue, active learning strategies aim at minimizing the amount of labelled data required to train a DL model. Most active strategies are based on uncertain sample selection, and even often restricted to samples lying close to the decision boundary. These techniques are theoretically sound, but an understanding of the selected samples based on their content is not straightforward, further driving non-experts to consider DL as a black-box. For the first time, here we propose to take into consideration common domain-knowledge and enable non-expert users to train a model with fewer samples. In our Knowledge-driven Active Learning (KAL) framework, rule-based knowledge is converted into logic constraints and their violation is checked as a natural guide for sample selection. We show that even simple relationships among data and output classes offer a way to spot predictions for which the model need supervision. We empirically show that KAL (i) outperforms many active learning strategies, particularly in those contexts where domain knowledge is rich, (ii) it discovers data distribution lying far from the initial training data, (iii) it ensures domain experts that the provided knowledge is acquired by the model, (iv) it is suitable for regression and object recognition tasks unlike uncertainty-based strategies, and (v) its computational demand is low.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google