ST-CoNAL: Consistency-Based Acquisition Criterion Using Temporal Self-Ensemble for Active Learning

要約

現代のディープラーニングは、様々な分野で大きな成果を上げている。しかし、膨大なデータのラベリングが必要であり、コストと手間がかかるという問題があります。学習プロセスの効率を最大化するために、最も情報量の多いサンプルを特定してラベリングする能動学習（AL）の重要性が高まっています。既存のAL手法は、ラベル付けするサンプルを取得するために、最終的に固定された単一のモデルのみを用いることがほとんどである。この方法は、与えられた学習データに対するモデルの構造的な不確実性を考慮せずにサンプルを取得するため、十分に良いとは言えないかもしれない。本研究では、従来の確率的勾配降下法（SGD）最適化によって生成された時間的自己集合に基づく新しい獲得基準を提案する。この自己集合モデルは、SGDの反復により得られた中間ネットワーク重みを取り込むことにより得られる。この獲得機能は、生徒モデルと教師モデルの間の整合性測定に依存する。生徒モデルには一定数の時間的自己形成モデルが与えられ、教師モデルは生徒モデルの重みを平均化することで構築される。提案する獲得基準を用いて、生徒-教師一貫性ベースAL (ST-CoNAL) と呼ばれるALアルゴリズムを提示する。CIFAR-10、CIFAR-100、Caltech-256、Tiny ImageNetデータセットの画像分類タスクに対して行った実験により、提案するST-CoNALが既存の獲得基準よりも大幅に優れた性能を達成することが示される。さらに、広範な実験により、本手法の頑健性と有効性を示す。

要約(オリジナル)

Modern deep learning has achieved great success in various fields. However, it requires the labeling of huge amounts of data, which is expensive and labor-intensive. Active learning (AL), which identifies the most informative samples to be labeled, is becoming increasingly important to maximize the efficiency of the training process. The existing AL methods mostly use only a single final fixed model for acquiring the samples to be labeled. This strategy may not be good enough in that the structural uncertainty of a model for given training data is not considered to acquire the samples. In this study, we propose a novel acquisition criterion based on temporal self-ensemble generated by conventional stochastic gradient descent (SGD) optimization. These self-ensemble models are obtained by capturing the intermediate network weights obtained through SGD iterations. Our acquisition function relies on a consistency measure between the student and teacher models. The student models are given a fixed number of temporal self-ensemble models, and the teacher model is constructed by averaging the weights of the student models. Using the proposed acquisition criterion, we present an AL algorithm, namely student-teacher consistency-based AL (ST-CoNAL). Experiments conducted for image classification tasks on CIFAR-10, CIFAR-100, Caltech-256, and Tiny ImageNet datasets demonstrate that the proposed ST-CoNAL achieves significantly better performance than the existing acquisition methods. Furthermore, extensive experiments show the robustness and effectiveness of our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL