要約
文書には空間的焦点と貴重な地域特性が含まれています。
たとえば、不動産や旅行のブログの物件情報の説明には、特定の地域に関する情報が含まれています。
この情報は、人間が環境をどのように認識しているかを特徴づけるのに貴重です。
ただし、この情報を利用するための最初のステップは、文書の空間的焦点 (都市など) を特定することです。
文書の空間的焦点を特定するための従来のアプローチは、文書から地名を検出して曖昧さを解消することに依存しています。
このアプローチには、位置フレーズの語彙セットと、位置に関連する重要な単語を無視するアドホック ルールが必要です。
大規模な言語モデルを使用した最近のトピック モデリング アプローチでは、それぞれが広範囲をカバーするいくつかのトピックを考慮することがよくあります。
対照的に、文書の空間的焦点は国、都市、さらには近隣地域にまで及ぶ可能性があり、これらを合わせると、これらのアプローチで考慮されるトピックの数よりもはるかに多くなります。
さらに、トピック モデリング手法は、コンテキストが容易に区別できるニュース記事の広範なトピックに適用されることがよくあります。
文書の地理的焦点を効果的に特定するために、文書と場所の別々のエンコーダーを使用して表現を共同学習する、シンプルだが効果的な multi-LocaLitY (JELLY) の結合埋め込みを提案します。
JELLY は、多くのソースからの文書から空間的焦点を特定する最先端の方法を大幅に上回ります。
また、同様の地域特性を持つ都市の特定や、文書の空間的焦点を特定するためのゼロショット学習など、学習された表現の算術に関するケース スタディも示します。
要約(オリジナル)
Documents hold spatial focus and valuable locality characteristics. For example, descriptions of listings in real estate or travel blogs contain information about specific local neighborhoods. This information is valuable to characterize how humans perceive their environment. However, the first step to making use of this information is to identify the spatial focus (e.g., a city) of a document. Traditional approaches for identifying the spatial focus of a document rely on detecting and disambiguating toponyms from the document. This approach requires a vocabulary set of location phrases and ad-hoc rules, which ignore important words related to location. Recent topic modeling approaches using large language models often consider a few topics, each with broad coverage. In contrast, the spatial focus of a document can be a country, a city, or even a neighborhood, which together, is much larger than the number of topics considered in these approaches. Additionally, topic modeling methods are often applied to broad topics of news articles where context is easily distinguishable. To identify the geographic focus of a document effectively, we present a simple but effective Joint Embedding of multi-LocaLitY (JELLY), which jointly learns representations with separate encoders of document and location. JELLY significantly outperforms state-of-the-art methods for identifying spatial focus from documents from a number of sources. We also demonstrate case studies on the arithmetic of the learned representations, including identifying cities with similar locality characteristics and zero-shot learning to identify document spatial focus.
arxiv情報
著者 | Jina Kim,Zekun Li,Yijun Lin,Min Namgung,Leeje Jang,Yao-Yi Chiang |
発行日 | 2023-06-29 16:05:40+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google