Idiom Detection in Sorani Kurdish Texts

要約

自然言語処理 (NLP) を使用したイディオム検出は、単語の文字通りの解釈を超えた意味を伝えるテキスト内の比喩表現を認識するコンピューター化されたプロセスです。
イディオムの検出はさまざまな言語で大幅な進歩を遂げていますが、クルド語は、機械翻訳や感情分析などのタスクにおけるイディオムの重要性にもかかわらず、この分野での研究の大きなギャップに直面しています。
この研究では、深層学習技術を使用したテキスト分類タスクとしてアプローチすることで、ソラニ クルド語のイディオム検出に取り組んでいます。
これに取り組むために、さまざまな文脈にわたる 101 のソラニ クルド語の慣用句を埋め込んだ 10,580 の文を含むデータセットを開発しました。
このデータセットを使用して、KuBERT ベースのトランスフォーマー シーケンス分類、再帰畳み込みニューラル ネットワーク (RCNN)、およびアテンション メカニズムを備えた BiLSTM モデルという 3 つの深層学習モデルを開発および評価しました。
評価の結果、変圧器モデルである微調整された BERT は他のモデルよりも常に優れており、RCNN が 96.5%、BiLSTM が 80% の精度を達成するのに対し、ほぼ 99% の精度を達成したことが明らかになりました。
これらの結果は、クルド語のような低リソース言語における Transformer ベースのアーキテクチャの有効性を強調しています。
この研究は、データセット、3 つの最適化されたモデル、イディオム検出に関する洞察を提供し、クルド語 NLP を進歩させるための基盤を築きます。

要約(オリジナル)

Idiom detection using Natural Language Processing (NLP) is the computerized process of recognizing figurative expressions within a text that convey meanings beyond the literal interpretation of the words. While idiom detection has seen significant progress across various languages, the Kurdish language faces a considerable research gap in this area despite the importance of idioms in tasks like machine translation and sentiment analysis. This study addresses idiom detection in Sorani Kurdish by approaching it as a text classification task using deep learning techniques. To tackle this, we developed a dataset containing 10,580 sentences embedding 101 Sorani Kurdish idioms across diverse contexts. Using this dataset, we developed and evaluated three deep learning models: KuBERT-based transformer sequence classification, a Recurrent Convolutional Neural Network (RCNN), and a BiLSTM model with an attention mechanism. The evaluations revealed that the transformer model, the fine-tuned BERT, consistently outperformed the others, achieving nearly 99% accuracy while the RCNN achieved 96.5% and the BiLSTM 80%. These results highlight the effectiveness of Transformer-based architectures in low-resource languages like Kurdish. This research provides a dataset, three optimized models, and insights into idiom detection, laying a foundation for advancing Kurdish NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google