OYXOY: A Modern NLP Test Suite for Modern Greek

要約

この論文は、ギリシャ語 NLP の言語的動機と技術的に関連性のある評価スイートの開発に向けた基礎的なステップとして機能します。
私たちは、専門家によって検証された 4 つの評価タスクを導入することでこの取り組みを開始します。これらのタスクは、特に自然言語推論、語義の曖昧さの解消 (例の比較または語義の選択による)、およびメタファーの検出を対象としています。
既存のタスクの言語に適応したレプリカだけでなく、より広範なリソースおよび評価コミュニティの共感を呼ぶ 2 つのイノベーションに貢献します。
まず、私たちの推論データセットは、\textit{1} だけでなく \textit{all} の可能な推論ラベルをマークする、この種のものとしては初めてのものであり、たとえば、次のような原因による起こり得るシフトを考慮しています。
曖昧さまたは多義性。
次に、リソースが不足している言語のデータセットを取得するためのコスト効率の高い方法を示します。
ChatGPT を言語中立パーサーとして使用して、標準現代ギリシャ語辞書を構造化形式に変換し、そこから単純な射影を通じて他の 3 つのタスクを導き出します。
それぞれの作業と並行して、現在利用可能な最先端の機械を使用して実験を行います。
私たちの実験ベースラインは、私たちの課題の困難な性質を裏付けており、ギリシャの NLP エコシステムが現代の主流の研究と歩調を合わせるためには、迅速な進歩の必要性を強調しています。

要約(オリジナル)

This paper serves as a foundational step towards the development of a linguistically motivated and technically relevant evaluation suite for Greek NLP. We initiate this endeavor by introducing four expert-verified evaluation tasks, specifically targeted at natural language inference, word sense disambiguation (through example comparison or sense selection) and metaphor detection. More than language-adapted replicas of existing tasks, we contribute two innovations which will resonate with the broader resource and evaluation community. Firstly, our inference dataset is the first of its kind, marking not just \textit{one}, but rather \textit{all} possible inference labels, accounting for possible shifts due to e.g. ambiguity or polysemy. Secondly, we demonstrate a cost-efficient method to obtain datasets for under-resourced languages. Using ChatGPT as a language-neutral parser, we transform the Dictionary of Standard Modern Greek into a structured format, from which we derive the other three tasks through simple projections. Alongside each task, we conduct experiments using currently available state of the art machinery. Our experimental baselines affirm the challenging nature of our tasks and highlight the need for expedited progress in order for the Greek NLP ecosystem to keep pace with contemporary mainstream research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google