Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization

要約

深層学習の最近の進歩は、主に、ますます膨大になるデータセットでトレーニングされた大規模モデルの使用によって推進されてきました。
特定レベルの計算リソースを考慮したネットワーク パフォーマンスを予測するニューラル スケーリングの法則が登場しましたが、膨大なデータセットに対する需要の高まりにより懸念が生じています。
これに対処するために、代替となる合成データの作成に焦点を当てた、新しい研究の方向性が登場しました。
この研究では、合成データセットのトレーニング中にニューラル ネットワークがどのように形状バイアスを示し、合成データの品質の指標として機能するかを調査します。
具体的には、我々の調査結果は 3 つの重要な点を示しています。 (1) 形状バイアスはネットワーク アーキテクチャと監視の種類によって異なり、一般化の予測因子としての信頼性と、人間の能力と比較したモデル認識の違いを説明する能力に疑問を投げかけています。
(2) 一般化を推定するために形状バイアスのみに依存することは、多様性や自然主義と絡み合っているため、信頼性が低くなります。
(3) データセット内のサンプルの多様性を推定するためのツールとして、形状バイアスの新しい解釈を提案します。
私たちの研究は、深層学習における合成データとそれに関連する形状バイアスの使用の影響を明らかにし、一般化とデータセットの品質に関する懸念に対処することを目的としています。

要約(オリジナル)

Recent advancements in deep learning have been primarily driven by the use of large models trained on increasingly vast datasets. While neural scaling laws have emerged to predict network performance given a specific level of computational resources, the growing demand for expansive datasets raises concerns. To address this, a new research direction has emerged, focusing on the creation of synthetic data as a substitute. In this study, we investigate how neural networks exhibit shape bias during training on synthetic datasets, serving as an indicator of the synthetic data quality. Specifically, our findings indicate three key points: (1) Shape bias varies across network architectures and types of supervision, casting doubt on its reliability as a predictor for generalization and its ability to explain differences in model recognition compared to human capabilities. (2) Relying solely on shape bias to estimate generalization is unreliable, as it is entangled with diversity and naturalism. (3) We propose a novel interpretation of shape bias as a tool for estimating the diversity of samples within a dataset. Our research aims to clarify the implications of using synthetic data and its associated shape bias in deep learning, addressing concerns regarding generalization and dataset quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google