Finding Differences Between Transformers and ConvNets Using Counterfactual Simulation Testing

要約

最新のディープ ニューラル ネットワークは、静的テスト セットで評価される傾向があります。
これの欠点の 1 つは、これらのディープ ニューラル ネットワークは、特定のシーン バリエーションに関する堅牢性の問題を簡単に評価できないという事実です。
たとえば、オブジェクトのスケール、オブジェクトのポーズ、シーンの照明、および 3D オクルージョンの変化に対するこれらのネットワークの堅牢性を調査することは困難です。
主な理由は、十分な規模のきめの細かい自然主義的なバリエーションを含む実際のデータセットを収集するには、非常に時間と費用がかかる可能性があるためです。
この作業では、カウンターファクチュアル シミュレーション テストを提示します。これは、モデルに反事実の質問をすることを可能にする現実的な合成シーンを構築することで、これらの自然主義的なバリエーションのいくつかに関してニューラル ネットワークの堅牢性を研究できる反事実フレームワークであり、最終的には答えを提供します。
「オブジェクトを上から見た場合でも、あなたの分類は正しいでしょうか?」などの質問に答えます。
または「オブジェクトが別のオブジェクトによって部分的に遮られていても、分類は正しいでしょうか?」
私たちの方法は、これらの自然主義的なバリエーションに関して、最近リリースされた最先端の畳み込みニューラル ネットワークとビジョン トランスフォーマーの堅牢性の公正な比較を可能にします。
ConvNext は Swin よりもポーズとスケールのバリエーションに対してより堅牢であり、ConvNext はシミュレートされたドメインによりよく一般化され、Swin は ConvNext よりも部分的なオクルージョンをより適切に処理するという証拠を見つけました。
また、すべてのネットワークの堅牢性は、ネットワークの規模とデータの規模と多様性によって向上することもわかりました。
オブジェクトのポーズ、スケール、視点、照明、オクルージョンなどの自然なバリエーションを持つ日常的なオブジェクトの 272k 画像の大規模なシミュレートされたデータセットである Naturalistic Variation Object Dataset (NVD) をリリースします。
プロジェクトページ: https://counterfactualsimulation.github.io

要約(オリジナル)

Modern deep neural networks tend to be evaluated on static test sets. One shortcoming of this is the fact that these deep neural networks cannot be easily evaluated for robustness issues with respect to specific scene variations. For example, it is hard to study the robustness of these networks to variations of object scale, object pose, scene lighting and 3D occlusions. The main reason is that collecting real datasets with fine-grained naturalistic variations of sufficient scale can be extremely time-consuming and expensive. In this work, we present Counterfactual Simulation Testing, a counterfactual framework that allows us to study the robustness of neural networks with respect to some of these naturalistic variations by building realistic synthetic scenes that allow us to ask counterfactual questions to the models, ultimately providing answers to questions such as ‘Would your classification still be correct if the object were viewed from the top?’ or ‘Would your classification still be correct if the object were partially occluded by another object?’. Our method allows for a fair comparison of the robustness of recently released, state-of-the-art Convolutional Neural Networks and Vision Transformers, with respect to these naturalistic variations. We find evidence that ConvNext is more robust to pose and scale variations than Swin, that ConvNext generalizes better to our simulated domain and that Swin handles partial occlusion better than ConvNext. We also find that robustness for all networks improves with network scale and with data scale and variety. We release the Naturalistic Variation Object Dataset (NVD), a large simulated dataset of 272k images of everyday objects with naturalistic variations such as object pose, scale, viewpoint, lighting and occlusions. Project page: https://counterfactualsimulation.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google