要約
このペーパーでは、SketchEngine、TBXTools、および ChatGPT を使用して抽出された用語の精度を比較します。
さらに、これらの用語に対して ChatGPT によって作成された定義の品質も評価します。
この調査は、ウェブから収集された、英語とロシア語で書かれたファッション雑誌の比較可能なコーパスを使用して実行されました。
ファッション用語のゴールドスタンダードも、自動的に収集でき、ファッション分野の用語の定義が英語とロシア語で含まれている Web ページを特定することによって開発されました。
このゴールド スタンダードは、抽出された用語と作成された定義の品質を評価するために使用されました。
私たちの評価によると、TBXTools と SketchEngine は高い再現率を実現できますが、用語の数が増えると精度が低下し、全体的なパフォーマンスに影響を及ぼします。
逆に、ChatGPT は優れたパフォーマンスを示し、より多くの用語が考慮されるにつれて精度が維持または向上します。
英語とロシア語で一般的に使用される 60 の用語について ChatGPT によって生成された定義を分析したところ、ChatGPT は言語間で妥当なレベルの精度と忠実度を維持しているものの、場合によっては両方の言語の定義に重要な詳細が欠落し、不必要な逸脱が含まれていることがわかりました。
私たちの調査によると、単一のツールが普遍的に優れているということはありません。
それぞれが、用語の抽出と適用の特定の側面に適した強みを持っています。
要約(オリジナル)
This paper compares the accuracy of the terms extracted using SketchEngine, TBXTools and ChatGPT. In addition, it evaluates the quality of the definitions produced by ChatGPT for these terms. The research is carried out on a comparable corpus of fashion magazines written in English and Russian collected from the web. A gold standard for the fashion terminology was also developed by identifying web pages that can be harvested automatically and contain definitions of terms from the fashion domain in English and Russian. This gold standard was used to evaluate the quality of the extracted terms and of the definitions produced. Our evaluation shows that TBXTools and SketchEngine, while capable of high recall, suffer from reduced precision as the number of terms increases, which affects their overall performance. Conversely, ChatGPT demonstrates superior performance, maintaining or improving precision as more terms are considered. Analysis of the definitions produced by ChatGPT for 60 commonly used terms in English and Russian shows that ChatGPT maintains a reasonable level of accuracy and fidelity across languages, but sometimes the definitions in both languages miss crucial specifics and include unnecessary deviations. Our research reveals that no single tool excels universally; each has strengths suited to particular aspects of terminology extraction and application.
arxiv情報
| 著者 | Anastasiia Bezobrazova,Miriam Seghiri,Constantin Orasan |
| 発行日 | 2024-12-04 11:43:08+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google