Multispectral Contrastive Learning with Viewmaker Networks

要約

【タイトル】
多波長コントラスティブラーニングにおけるViewmakerネットワーク

【要約】
1. コントラスティブラーニングは、似たようなデータ点を識別するようモデルをトレーニングすることによって、様々な領域やモダリティに適用されている。
2. しかし、専門的な科学的モダリティでは、各科学的機器に対する良いビューを特定することが複雑かつ時間がかかるため、このパラダイムに対して課題がある。
3. この論文では、コントラスティブラーニング手法をさまざまなリモートセンシングデータセットに適用することに焦点を当てる。
4. Viewmakerネットワークは、ビューを生成するための最近提案された手法であり、十分なドメイン知識や試行錯誤を必要とせず、この分野でのビューの生成に有望であることが示されている。
5. Viewmakerは、4つの多波長画像処理問題に適用され、それぞれ異なる形式があり、下流の分類タスクで評価された場合、クロッピングおよび反射ベースの手法に比べ、どの場合でも優れた性能を発揮することがわかった。
6. これにより、ドメインに依存しない方法がコントラスティブラーニングを実世界の科学的領域にスケールさせることができることが示唆されている。
7. オープンソースコードは、https://github.com/jbayrooti/divmakerで入手可能である。

要約(オリジナル)

Contrastive learning methods have been applied to a range of domains and modalities by training models to identify similar ‘views’ of data points. However, specialized scientific modalities pose a challenge for this paradigm, as identifying good views for each scientific instrument is complex and time-intensive. In this paper, we focus on applying contrastive learning approaches to a variety of remote sensing datasets. We show that Viewmaker networks, a recently proposed method for generating views, are promising for producing views in this setting without requiring extensive domain knowledge and trial and error. We apply Viewmaker to four multispectral imaging problems, each with a different format, finding that Viewmaker can outperform cropping- and reflection-based methods for contrastive learning in every case when evaluated on downstream classification tasks. This provides additional evidence that domain-agnostic methods can empower contrastive learning to scale to real-world scientific domains. Open source code can be found at https://github.com/jbayrooti/divmaker.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI