On the Scaling Laws of Geographical Representation in Language Models

要約

言語モデルは、その隠された表現に地理情報を埋め込むことが長い間示されてきました。
この一連の作業は、最近、この結果を大規模言語モデル (LLM) に拡張することによって再検討されています。
この論文では、言語モデルをスケーリングするときに地理的知識がどのように進化するかを観察することによって、確立された文献と最近の文献の間のギャップを埋めることを提案します。
地理的知識は小さなモデルであっても観察可能であり、モデルのサイズが大きくなってもそれが一貫して拡大することを示します。
特に、より大きな言語モデルでは、トレーニング データに固有の地理的な偏りを軽減できないことがわかります。

要約(オリジナル)

Language models have long been shown to embed geographical information in their hidden representations. This line of work has recently been revisited by extending this result to Large Language Models (LLMs). In this paper, we propose to fill the gap between well-established and recent literature by observing how geographical knowledge evolves when scaling language models. We show that geographical knowledge is observable even for tiny models, and that it scales consistently as we increase the model size. Notably, we observe that larger language models cannot mitigate the geographical bias that is inherent to the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google