Not Every AI Problem is a Data Problem: We Should Be Intentional About Data Scaling

要約

大規模言語モデルの学習とスケーリングにはますます多くのデータが必要になるが、取得すべきデータを探すのではなく、どのような種類のタスクがデータスケーリングの恩恵を受けやすいかを考えるべきである。我々は、意図的にデータを取得すべきである。我々は、データの構成パターンや構造パターンといったデータそのものの形状が、データスケーリングにおいてどのタスクを優先すべきかを決定し、データスケーリングが非効率的、あるいは不十分なタスクに対する次世代の計算パラダイムの開発を形作る、と主張している。

要約(オリジナル)

While Large Language Models require more and more data to train and scale, rather than looking for any data to acquire, we should consider what types of tasks are more likely to benefit from data scaling. We should be intentional in our data acquisition. We argue that the shape of the data itself, such as its compositional and structural patterns, informs which tasks to prioritize in data scaling, and shapes the development of the next generation of compute paradigms for tasks where data scaling is inefficient, or even insufficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL