Low-Resource Vision Challenges for Foundation Models

要約

自然言語処理では低リソース設定が確立されており、多くの言語では大規模な機械学習に十分なデータが不足しています。
しかし、コンピュータ ビジョンでは、リソース不足の問題は十分に調査されていません。
このペーパーでは、このギャップに対処し、ビジョン基盤モデルを使用した低リソースの画像タスクの課題を調査することに努めます。
したがって、私たちはまず、歴史的な地図、回路図、機械図面をカバーする、真に低リソースの画像データのベンチマークを収集します。
これらの低リソース設定はすべて、データの不足、きめ細かい差異、自然画像から関心のある特殊な領域への分布の移行という 3 つの課題を共有しています。
既存の基盤モデルは優れた汎用性を示していますが、リソースが少ないタスクにはうまく移行できないことがわかりました。
低リソースのビジョンという課題に取り組み始めるために、課題ごとに 1 つの単純なベースラインを導入します。
具体的には、i) 生成モデルによってデータ空間を拡大すること、ii) きめ細かい差分発見のために局所領域をエンコードするために最適なサブカーネルを採用すること、および iii) 特殊なドメインに対する注意を学習することを提案します。
私たちのベンチマークにおける 3 つの低リソース データ ソースの実験では、私たちの提案がすでに一般的な転移学習、データ拡張、およびきめ細かい手法よりも優れたベースラインを提供していることを示しています。
これは、基礎モデルの低リソース ビジョンの独自の特性と課題を浮き彫りにしており、さらなる調査が必要です。
プロジェクトの Web サイト: https://xiaobai1217.github.io/Low-Resource-Vision/。

要約(オリジナル)

Low-resource settings are well-established in natural language processing, where many languages lack sufficient data for machine learning at scale. However, low-resource problems are under-explored in computer vision. In this paper, we strive to address this gap and explore the challenges of low-resource image tasks with vision foundation models. Thus, we first collect a benchmark of genuinely low-resource image data, covering historic maps, circuit diagrams, and mechanical drawings. These low-resource settings all share the three challenges of data scarcity, fine-grained differences, and the distribution shift from natural images to the specialized domain of interest. While existing foundation models have shown impressive generalizability, we find they cannot transfer well to our low-resource tasks. To begin to tackle the challenges of low-resource vision, we introduce one simple baseline per challenge. Specifically, we propose to i) enlarge the data space by generative models, ii) adopt the best sub-kernels to encode local regions for fine-grained difference discovery and iii) learn attention for specialized domains. Experiments on the three low-resource data sources in our benchmark demonstrate our proposals already provide a better baseline than common transfer learning, data augmentation, and fine-grained methods. This highlights the unique characteristics and challenges of low-resource vision for foundation models that warrant further investigation. Project website: https://xiaobai1217.github.io/Low-Resource-Vision/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google