Agglomerative Token Clustering

要約

我々は、画像分類、画像合成、オブジェクト検出とセグメンテーションのタスクにわたって、以前のトークン マージおよびプルーニング手法を一貫して上回る新しいトークン マージ手法である Agglomerative Token Clustering (ATC) を紹介します。
ATC は、追加の学習可能なパラメーターを導入することなく、ボトムアップの階層的クラスタリングを通じてクラスターをマージします。
ATC はすべてのタスクにわたって最先端のパフォーマンスを達成し、既製の状態で、つまり微調整なしで適用した場合でも、以前の最先端のパフォーマンスと同等のパフォーマンスを発揮できることがわかりました。
ATC は、トークンのごく一部のみが保持され、タスクのパフォーマンスを維持することが特に難しい、低い保持率で適用される場合に特に効果的です。

要約(オリジナル)

We present Agglomerative Token Clustering (ATC), a novel token merging method that consistently outperforms previous token merging and pruning methods across image classification, image synthesis, and object detection & segmentation tasks. ATC merges clusters through bottom-up hierarchical clustering, without the introduction of extra learnable parameters. We find that ATC achieves state-of-the-art performance across all tasks, and can even perform on par with prior state-of-the-art when applied off-the-shelf, i.e. without fine-tuning. ATC is particularly effective when applied with low keep rates, where only a small fraction of tokens are kept and retaining task performance is especially difficult.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google