Clustered-patch Element Connection for Few-shot Learning

要約

タイトル：Few-shot LearningのためのClustered-patch要素接続

要約：

– Weak feature representation problem は、長い間few-shot分類タスクのパフォーマンスに影響を与えてきた。
– この問題を軽減するために、最近の研究者は、埋め込みパッチ特徴を介して支援とクエリインスタンスを接続することで、識別的な表現を生成する接続を構築しています。
– しかし、ターゲットオブジェクトの場所とサイズが固定されていないため、これらのローカルパッチの間にシーマンティックミスマッチ（foreground / background）が存在することを発見しました。
– さらに悪いことに、これらのミスマッチは信頼性の低い類似度信頼度をもたらし、複雑な密集接続は問題を悪化させます。
– このため、ミスマッチ問題を修正するために、新しいClustered-patch Element Connection（CEC）レイヤーを提案します。
– CECレイヤーは、パッチクラスタと部分接続演算を利用して、それぞれ高似度パッチ特徴と信頼性のある接続を収集および確立します。
– さらに、我々は、グローバルクラスター化されたパッチ特徴によって恩恵を受けるより識別的な表現を生成するCECレイヤーベースのアテンションモジュールおよび距離メトリックを含むCECNetを提案しています。
– 幅広い実験は、当社のCECNetが分類ベンチマークにおいて最先端の方法を上回ることを示しています。
– さらに、当社のCECアプローチは、競争力のあるパフォーマンスを達成するfew-shotセグメンテーションおよび検出タスクに拡張することができます。

要約(オリジナル)

Weak feature representation problem has influenced the performance of few-shot classification task for a long time. To alleviate this problem, recent researchers build connections between support and query instances through embedding patch features to generate discriminative representations. However, we observe that there exists semantic mismatches (foreground/ background) among these local patches, because the location and size of the target object are not fixed. What is worse, these mismatches result in unreliable similarity confidences, and complex dense connection exacerbates the problem. According to this, we propose a novel Clustered-patch Element Connection (CEC) layer to correct the mismatch problem. The CEC layer leverages Patch Cluster and Element Connection operations to collect and establish reliable connections with high similarity patch features, respectively. Moreover, we propose a CECNet, including CEC layer based attention module and distance metric. The former is utilized to generate a more discriminative representation benefiting from the global clustered-patch features, and the latter is introduced to reliably measure the similarity between pair-features. Extensive experiments demonstrate that our CECNet outperforms the state-of-the-art methods on classification benchmark. Furthermore, our CEC approach can be extended into few-shot segmentation and detection tasks, which achieves competitive performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI