A semantic loss for ontology classification

要約

ディープラーニング・モデルは、適用されるタスクの固有の制約に気づかないことが多い。しかし、多くの下流タスクは論理的一貫性を必要とする。オントロジー分類タスクの場合、そのような制約には、クラス間のサブサンプション（包含）関係とディスジョイント（分離）関係が含まれる。 ディープラーニングモデルの一貫性を高めるために、ラベルベースの損失と、サブサンプションやディスジョイントの違反にペナルティを与える用語を組み合わせたセマンティック損失を提案する。ChEBIオントロジーを用いた評価により、セマンティックロスは、分類性能を低下させることなく、整合性違反の数を数桁減少させることができることが示された。さらに、教師なし学習にセマンティックロスを用いる。これにより、教師あり学習の範囲外の分布からのデータに対する一貫性をさらに改善できることを示す。

要約(オリジナル)

Deep learning models are often unaware of the inherent constraints of the task they are applied to. However, many downstream tasks require logical consistency. For ontology classification tasks, such constraints include subsumption and disjointness relations between classes. In order to increase the consistency of deep learning models, we propose a semantic loss that combines label-based loss with terms penalising subsumption- or disjointness-violations. Our evaluation on the ChEBI ontology shows that the semantic loss is able to decrease the number of consistency violations by several orders of magnitude without decreasing the classification performance. In addition, we use the semantic loss for unsupervised learning. We show that this can further improve consistency on data from a distribution outside the scope of the supervised training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL