A General Framework for Learning from Weak Supervision

要約

一般に、弱教師あり学習は、多様な弱教師を伴うさまざまなシナリオへの適用性や、既存のアルゴリズムの複雑さによるスケーラビリティの点で課題に直面しており、実用的な展開が妨げられています。
この論文では、新しいアルゴリズムを使用した弱い監視からの学習 (GLWS) のための一般的なフレームワークを紹介します。
GLWS の中心となるのは期待最大化 (EM) 定式化であり、インスタンスの部分ラベル、集計統計、ペアごとの観測、ラベルのないデータなど、さまざまな弱い監視ソースに適切に対応します。
さらに、非決定論的有限オートマトン (NFA) と前方後方アルゴリズムを使用して EM の計算要求を大幅に簡素化する高度なアルゴリズムを提示します。これにより、既存のソリューションでしばしば必要とされる 2 次または階乗から線形スケールまでの時間の複雑さが効果的に軽減されます。
したがって、任意の弱い監視からの学習の問題は、それらの NFA モデリングに変換されます。
GLWS は、機械学習モデルのスケーラビリティを強化するだけでなく、11 の弱い監視シナリオにわたって優れたパフォーマンスと汎用性を実証します。
私たちの取り組みが、この分野のさらなる進歩と実用的な展開への道を開くことを願っています。

要約(オリジナル)

Weakly supervised learning generally faces challenges in applicability to various scenarios with diverse weak supervision and in scalability due to the complexity of existing algorithms, thereby hindering the practical deployment. This paper introduces a general framework for learning from weak supervision (GLWS) with a novel algorithm. Central to GLWS is an Expectation-Maximization (EM) formulation, adeptly accommodating various weak supervision sources, including instance partial labels, aggregate statistics, pairwise observations, and unlabeled data. We further present an advanced algorithm that significantly simplifies the EM computational demands using a Non-deterministic Finite Automaton (NFA) along with a forward-backward algorithm, which effectively reduces time complexity from quadratic or factorial often required in existing solutions to linear scale. The problem of learning from arbitrary weak supervision is therefore converted to the NFA modeling of them. GLWS not only enhances the scalability of machine learning models but also demonstrates superior performance and versatility across 11 weak supervision scenarios. We hope our work paves the way for further advancements and practical deployment in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google