MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection

要約

多くの既存の予測子の強みを組み合わせて、個々のコンポーネントよりも優れた専門家の混合を取得することは、新しいアーキテクチャを開発したりモデルを最初からトレーニングしたりせずにパフォーマンスを向上させる効果的な方法です。
しかし、驚くべきことに、ディープ アンサンブルと同様の方法でエキスパート オブジェクト検出器を単純に組み合わせると、パフォーマンスの低下につながる可能性があることがわかりました。
この問題の主な原因は、専門家の予測が彼らのパフォーマンスと一致しないこと、つまり誤った校正と呼ばれることであると私たちは特定しています。
その結果、最も信頼性の高い検出器が最終的な予測を支配し、混合物が専門家からのすべての予測を適切に活用できなくなります。
これに対処するために、専門家の混合を構築する際に、専門家の個々のパフォーマンスを反映する方法で予測を結合することを提案します。
この目的は、予測をフィルタリングして調整する前に、まず予測を調整することで達成されます。
私たちはこのアプローチを「調整された専門家の混合」と名付け、さまざまな検出器を使用した 5 つの異なる検出タスクに関する広範な実験を通じてその有効性を実証し、次のことを示しました。(i) COCO 上のオブジェクト検出器と LVIS 上のインスタンス セグメンテーション メソッドが最大 $\ 改善されました。
SIM 2.5$ AP;
(ii) COCO test-dev では $65.1$ AP で、DOTA では $82.62$ $\mathrm{AP_{50}}$ で最先端に達します。
(iii) Open Vocabulary Object Detection などの最近の検出タスクにおいて、単一モデルよりも一貫して優れたパフォーマンスを発揮します。

要約(オリジナル)

Combining the strengths of many existing predictors to obtain a Mixture of Experts which is superior to its individual components is an effective way to improve the performance without having to develop new architectures or train a model from scratch. However, surprisingly, we find that na\’ively combining expert object detectors in a similar way to Deep Ensembles, can often lead to degraded performance. We identify that the primary cause of this issue is that the predictions of the experts do not match their performance, a term referred to as miscalibration. Consequently, the most confident detector dominates the final predictions, preventing the mixture from leveraging all the predictions from the experts appropriately. To address this, when constructing the Mixture of Experts, we propose to combine their predictions in a manner which reflects the individual performance of the experts; an objective we achieve by first calibrating the predictions before filtering and refining them. We term this approach the Mixture of Calibrated Experts and demonstrate its effectiveness through extensive experiments on 5 different detection tasks using a variety of detectors, showing that it: (i) improves object detectors on COCO and instance segmentation methods on LVIS by up to $\sim 2.5$ AP; (ii) reaches state-of-the-art on COCO test-dev with $65.1$ AP and on DOTA with $82.62$ $\mathrm{AP_{50}}$; (iii) outperforms single models consistently on recent detection tasks such as Open Vocabulary Object Detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google