Progressive Voronoi Diagram Subdivision: Towards A Holistic Geometric Framework for Exemplar-free Class-Incremental Learning

要約

前のフェーズからのデータのリハーサルは厳しく禁止されており、ディープニューラルネットワーク（DNN）の壊滅的な忘却を引き起こすため、模範のないクラスインクリメンタル学習（CIL）は困難な問題です。
この論文では、計算幾何学から導き出された、CILの全体的なフレームワークであるiVoroを紹介します。
空間細分割の古典的なモデルであるボロノイ図（VD）は、CILの問題を解決するのに特に強力であることがわかりました。これは、VD自体を段階的に構築できるためです。新しく追加されたサイト（クラス）は、近接するクラスにのみ影響します。
、非隣接クラスをほとんど忘れられないようにします。
さらに、VD構築のためのより良いセンターのセットを見つけるために、Power Diagramを使用してDNNとVDを照合し、分割統治アルゴリズムを使用してローカルDNNモデルを統合することでVD構造を最適化できることを示します。
さらに、当社のVD構造は、深い特徴空間に限定されず、複数の中間特徴空間にも適用可能であり、VDをDNNからマルチグレイン特徴を効率的にキャプチャする多中心VD（CIVD）に昇格させます。
重要なことに、iVoroは、不確実性を意識したテスト時のボロノイセル割り当てを処理することもでき、幾何学的不確実性と予測精度の間に高い相関関係を示しています（最大0.9）。
すべてをまとめると、iVoroは、最先端の非模範的なCILアプローチと比較して、CIFAR-100、TinyImageNet、およびImageNet-Subsetでそれぞれ最大25.26％、37.09％、および33.21％の改善を達成します。
結論として、iVoroは、非常に正確でプライバシーを保護し、幾何学的に解釈可能なCILを可能にします。これは、フェーズ間のデータ共有が禁止されている場合に特に役立ちます。
医療用途で。
私たちのコードはhttps://machunwei.github.io/ivoroで入手できます。

要約(オリジナル)

Exemplar-free Class-incremental Learning (CIL) is a challenging problem because rehearsing data from previous phases is strictly prohibited, causing catastrophic forgetting of Deep Neural Networks (DNNs). In this paper, we present iVoro, a holistic framework for CIL, derived from computational geometry. We found Voronoi Diagram (VD), a classical model for space subdivision, is especially powerful for solving the CIL problem, because VD itself can be constructed favorably in an incremental manner — the newly added sites (classes) will only affect the proximate classes, making the non-contiguous classes hardly forgettable. Further, in order to find a better set of centers for VD construction, we colligate DNN with VD using Power Diagram and show that the VD structure can be optimized by integrating local DNN models using a divide-and-conquer algorithm. Moreover, our VD construction is not restricted to the deep feature space, but is also applicable to multiple intermediate feature spaces, promoting VD to be multi-centered VD (CIVD) that efficiently captures multi-grained features from DNN. Importantly, iVoro is also capable of handling uncertainty-aware test-time Voronoi cell assignment and has exhibited high correlations between geometric uncertainty and predictive accuracy (up to ~0.9). Putting everything together, iVoro achieves up to 25.26%, 37.09%, and 33.21% improvements on CIFAR-100, TinyImageNet, and ImageNet-Subset, respectively, compared to the state-of-the-art non-exemplar CIL approaches. In conclusion, iVoro enables highly accurate, privacy-preserving, and geometrically interpretable CIL that is particularly useful when cross-phase data sharing is forbidden, e.g. in medical applications. Our code is available at https://machunwei.github.io/ivoro.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google