MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection

要約

私たちは、さまざまな物体検出器を忠実に組み合わせて、混合内の個々の専門家よりも優れた精度を持つ専門家混合 (MoE) を取得する、非常にシンプルかつ非常に効果的なアプローチを提案します。
よく知られているディープ アンサンブル (DE) と同様の方法でこれらの専門家を単純に組み合わせても、効果的な MoE が得られないことがわかりました。
私たちは、さまざまな検出器の信頼スコア分布間の非互換性が、このような失敗例の主な理由であることを特定しました。
したがって、MoE を構築するために、私たちの提案は、まずターゲット校正関数に対して個々の検出器を校正することです。
次に、混合内のさまざまな検出器からのすべての予測をフィルター処理して絞り込みます。
私たちはこのアプローチを MoCaE と呼び、オブジェクト検出、インスタンスのセグメンテーション、回転オブジェクト検出タスクに関する広範な実験を通じてその有効性を実証しています。
具体的には、MoCaE は (i) COCO test-dev 上の 3 つの強力な物体検出器を $2.4$ $\mathrm{AP}$ 改善し、$59.0$ $\mathrm{AP}$ に達します。
(ii) $2.3$ $\mathrm{AP}$ による、困難なロングテール LVIS データセットのインスタンス セグメンテーション手法。
(iii) DOTA データセットで $82.62$ $\mathrm{AP_{50}}$ に到達することで、既存のすべての回転物体検出器を実現し、新しい最先端 (SOTA) を確立します。
コードは公開されます。

要約(オリジナル)

We propose an extremely simple and highly effective approach to faithfully combine different object detectors to obtain a Mixture of Experts (MoE) that has a superior accuracy to the individual experts in the mixture. We find that naively combining these experts in a similar way to the well-known Deep Ensembles (DEs), does not result in an effective MoE. We identify the incompatibility between the confidence score distribution of different detectors to be the primary reason for such failure cases. Therefore, to construct the MoE, our proposal is to first calibrate each individual detector against a target calibration function. Then, filter and refine all the predictions from different detectors in the mixture. We term this approach as MoCaE and demonstrate its effectiveness through extensive experiments on object detection, instance segmentation and rotated object detection tasks. Specifically, MoCaE improves (i) three strong object detectors on COCO test-dev by $2.4$ $\mathrm{AP}$ by reaching $59.0$ $\mathrm{AP}$; (ii) instance segmentation methods on the challenging long-tailed LVIS dataset by $2.3$ $\mathrm{AP}$; and (iii) all existing rotated object detectors by reaching $82.62$ $\mathrm{AP_{50}}$ on DOTA dataset, establishing a new state-of-the-art (SOTA). Code will be made public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google