All Mistakes Are Not Equal: Comprehensive Hierarchy Aware Multi-label Predictions (CHAMP)

要約

このホワイトペーパーでは、階層型マルチラベル分類（HMC）の問題について検討します。ここで、（i）各例に複数のラベルが存在する可能性があり、（ii）ラベルはドメイン固有の階層ツリーを介して関連付けられます。
すべての間違いが等しくないという直感に導かれて、階層ツリーに従ってその重大度に応じて誤予測にペナルティを課すフレームワークである、包括的階層認識マルチラベル予測（CHAMP）を提示します。
そのような考えを単一ラベル分類に適用する作品がありますが、私たちの知る限りでは、間違いの重大性に焦点を当てたマルチラベル分類のためのそのような作品は限られています。
主な理由は、マルチラベル設定で先験的に誤予測の重大度を定量化する明確な方法がないことです。
この作業では、HMCのミスの重大度を定量化するためのシンプルで効果的なメトリックを提案し、当然CHAMPにつながります。
モダリティ（画像、音声、テキスト）にわたる6つの公開HMCデータセットでの広範な実験は、CHAMPがAUPRC（2.6％中央値改善）と階層メトリック（2.85％中央値改善）の両方を改善するため、階層情報を組み込むと大幅な向上につながることを示しています。
スタンドアロンの階層的またはマルチラベル分類方法。
標準のマルチラベルベースラインと比較して、CHAMPは、堅牢性（8.87％の平均改善率）と少ないデータレジームの両方で改善されたAUPRCを提供します。
さらに、私たちの方法は、既存のマルチラベル分類アルゴリズムをより良いミス（18.1％の平均パーセンテージ増分）で強化するためのフレームワークを提供します。

要約(オリジナル)

This paper considers the problem of Hierarchical Multi-Label Classification (HMC), where (i) several labels can be present for each example, and (ii) labels are related via a domain-specific hierarchy tree. Guided by the intuition that all mistakes are not equal, we present Comprehensive Hierarchy Aware Multi-label Predictions (CHAMP), a framework that penalizes a misprediction depending on its severity as per the hierarchy tree. While there have been works that apply such an idea to single-label classification, to the best of our knowledge, there are limited such works for multilabel classification focusing on the severity of mistakes. The key reason is that there is no clear way of quantifying the severity of a misprediction a priori in the multilabel setting. In this work, we propose a simple but effective metric to quantify the severity of a mistake in HMC, naturally leading to CHAMP. Extensive experiments on six public HMC datasets across modalities (image, audio, and text) demonstrate that incorporating hierarchical information leads to substantial gains as CHAMP improves both AUPRC (2.6% median percentage improvement) and hierarchical metrics (2.85% median percentage improvement), over stand-alone hierarchical or multilabel classification methods. Compared to standard multilabel baselines, CHAMP provides improved AUPRC in both robustness (8.87% mean percentage improvement ) and less data regimes. Further, our method provides a framework to enhance existing multilabel classification algorithms with better mistakes (18.1% mean percentage increment).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google