Quantifying Geospatial in the Common Crawl Corpus

要約

大規模言語モデル (LLM) は、Common Crawl corpus から派生することが多いラベルなしの膨大なテキスト データセットでの事前トレーニングに由来する、新たな地理空間機能を示します。
ただし、CC 内の地理空間コンテンツはほとんど未調査のままであり、LLM の空間推論の理解に影響を与えています。
このペーパーでは、強力な言語モデルである Gemini を使用して、最近の Common Crawl リリースにおける地理空間データの普及状況を調査します。
文書のサンプルを分析し、その結果を手動で修正することにより、5 件中 1 ～ 6 件中 1 件の文書に座標や番地などの地理空間情報が含まれていると推定されます。
私たちの調査結果は、Common Crawl 内の地理空間データ、および Web クロール データ一般の性質と範囲について定量的な洞察を提供します。
さらに、利用可能な Web クロール データセットの地理空間コンテンツとその LLM への影響についての今後の調査の指針となる質問を作成します。

要約(オリジナル)

Large language models (LLMs) exhibit emerging geospatial capabilities, stemming from their pre-training on vast unlabelled text datasets that are often derived from the Common Crawl corpus. However, the geospatial content within CC remains largely unexplored, impacting our understanding of LLMs’ spatial reasoning. This paper investigates the prevalence of geospatial data in recent Common Crawl releases using Gemini, a powerful language model. By analyzing a sample of documents and manually revising the results, we estimate that between 1 in 5 and 1 in 6 documents contain geospatial information such as coordinates and street addresses. Our findings provide quantitative insights into the nature and extent of geospatial data within Common Crawl, and web crawl data in general. Furthermore, we formulate questions to guide future investigations into the geospatial content of available web crawl datasets and its influence on LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google