(Chat)GPT v BERT: Dawn of Justice for Semantic Change Detection

要約

自然言語処理の世界では、BERT や (Chat)GPT などの Transformer ベースの言語モデルが、未解決の研究問題を解決する大きな力を持つ語彙スーパーヒーローとして登場しました。
この論文では、特に意味変更の時間的問題に焦点を当て、Word-in-Context (WiC) タスクの 2 つの通時的拡張である TempoWiC と HistoWiC を解決する能力を評価します。
特に、ChatGPT (および GPT) 3.5 のような新しい既製テクノロジーの可能性を BERT と比較して調査します。BERT は、セマンティック変更をモデリングするための現在最先端のモデル群を代表します。
。
私たちの実験は、意味の変化を研究するための (Chat)GPT の使用を評価する最初の試みを表しています。
私たちの結果は、ChatGPT のパフォーマンスが基本の GPT バージョンよりも大幅に低いことを示しています。
さらに、我々の結果は、(Chat)GPT は長期的な変化の検出において BERT よりわずかに低いパフォーマンスを達成しますが、短期的な変化の検出においては大幅に劣ることを示しています。

要約(オリジナル)

In the universe of Natural Language Processing, Transformer-based language models like BERT and (Chat)GPT have emerged as lexical superheroes with great power to solve open research problems. In this paper, we specifically focus on the temporal problem of semantic change, and evaluate their ability to solve two diachronic extensions of the Word-in-Context (WiC) task: TempoWiC and HistoWiC. In particular, we investigate the potential of a novel, off-the-shelf technology like ChatGPT (and GPT) 3.5 compared to BERT, which represents a family of models that currently stand as the state-of-the-art for modeling semantic change. Our experiments represent the first attempt to assess the use of (Chat)GPT for studying semantic change. Our results indicate that ChatGPT performs significantly worse than the foundational GPT version. Furthermore, our results demonstrate that (Chat)GPT achieves slightly lower performance than BERT in detecting long-term changes but performs significantly worse in detecting short-term changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google