Beyond One-Hot-Encoding: Injecting Semantics to Drive Image Classifiers

要約

画像には、現実世界のオントロジーに関連する意味論的な情報が満載されています。犬の品種には哺乳類の類似点があり、食べ物の絵は家庭環境で描かれることがよくあります。
ただし、画像分類用の機械学習モデルをトレーニングする場合、通常、オブジェクト クラス間の相対的な類似性がワンホット エンコードされたラベルとペアになります。
このロジックによれば、画像が「スプーン」とラベル付けされている場合、「ティースプーン」と「サメ」はトレーニング損失の観点から同様に間違っています。
この制限を克服するために、存在論的および意味論的な知識を反映する追加の目標の統合を検討し、モデルの解釈可能性と信頼性を向上させます。
分類ラベルに関するあらゆる種類の意味情報から開始して追加の損失項を導出できる一般的なアプローチを提案します。
まず、私たちのアプローチをオントロジーと単語埋め込みに適用する方法を示し、結果として得られる情報が教師あり学習プロセスをどのように推進できるかについて説明します。
次に、意味的に強化された損失を使用して画像分類器をトレーニングし、精度、間違いの重大度、学習された内部表現の間のトレードオフを分析します。
最後に、説明可能性と敵対的堅牢性の観点から、このアプローチをさらに活用する方法について説明します。
コードリポジトリ: https://github.com/S1M0N38/semantic-encodings

要約(オリジナル)

Images are loaded with semantic information that pertains to real-world ontologies: dog breeds share mammalian similarities, food pictures are often depicted in domestic environments, and so on. However, when training machine learning models for image classification, the relative similarities amongst object classes are commonly paired with one-hot-encoded labels. According to this logic, if an image is labelled as ‘spoon’, then ‘tea-spoon’ and ‘shark’ are equally wrong in terms of training loss. To overcome this limitation, we explore the integration of additional goals that reflect ontological and semantic knowledge, improving model interpretability and trustworthiness. We suggest a generic approach that allows to derive an additional loss term starting from any kind of semantic information about the classification label. First, we show how to apply our approach to ontologies and word embeddings, and discuss how the resulting information can drive a supervised learning process. Second, we use our semantically enriched loss to train image classifiers, and analyse the trade-offs between accuracy, mistake severity, and learned internal representations. Finally, we discuss how this approach can be further exploited in terms of explainability and adversarial robustness. Code repository: https://github.com/S1M0N38/semantic-encodings

arxiv情報

提供元, 利用サービス

arxiv.jp, Google