Not Every AI Problem is a Data Problem: We Should Be Intentional About Data Scaling

要約

大規模言語モデルでは、トレーニングとスケーリングにますます多くのデータが必要になりますが、取得するデータを探すのではなく、どのタイプのタスクがデータ スケーリングから恩恵を受ける可能性が高いかを検討する必要があります。
データ取得には意図的でなければなりません。
私たちは、データ自体のトポロジが、データ スケーリングにおいてどのタスクを優先すべきかを示し、データ スケーリングが非効率であるか不十分であるタスクに対する次世代のコンピューティング パラダイムの開発を形作ると主張します。

要約(オリジナル)

While Large Language Models require more and more data to train and scale, rather than looking for any data to acquire, we should consider what types of tasks are more likely to benefit from data scaling. We should be intentional in our data acquisition. We argue that the topology of data itself informs which tasks to prioritize in data scaling, and shapes the development of the next generation of compute paradigms for tasks where data scaling is inefficient, or even insufficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google