Language Detection for Transliterated Content

要約

現代のデジタル時代では、インターネットは比類のない触媒として機能し、特にテキストメッセージで顕著な地理的および言語的障壁を取り除きます。
この進化により、物理的な距離を超えてグローバルなコミュニケーションが促進され、ダイナミックな文化交流が促進されます。
注目すべき傾向は、母国語でメッセージを伝えるために英語のアルファベットを使用する音訳の使用の普及であり、ソース言語を正確に検出するという言語テクノロジーに特有の課題を引き起こしています。
この論文では、言語分類に BERT を、音訳変換に Google Translate API を利用して、英語に音訳されたヒンディー語とロシア語の電話テキスト メッセージのデータセットを通じて、この課題に取り組みます。
この研究は、音訳されたテキストを識別して変換する革新的なアプローチを開拓し、デジタルコミュニケーションの多様な言語環境における課題を解決します。
BERT のような大規模言語モデル LLM をトレーニングするための包括的なデータセットの極めて重要な役割を強調するこのモデルは、音訳されたテキストから言語を正確に識別および分類する際の優れた能力を示しています。
99% の検証精度を備えた当社のモデルの堅牢なパフォーマンスは、その信頼性を強調します。
革新的なアプローチと BERT のような最先端のテクノロジーによってサポートされる音訳ダイナミクスの包括的な探求により、私たちの研究はデジタル コミュニケーションの言語環境における固有の課題に対処する最前線に位置します。
この成果は、言語識別および音訳機能への貢献を超えて、コンテンツのモデレーション、分析、および有意義な対話に参加する世界的に接続されたコミュニティの育成における応用が期待されています。

要約(オリジナル)

In the contemporary digital era, the Internet functions as an unparalleled catalyst, dismantling geographical and linguistic barriers particularly evident in texting. This evolution facilitates global communication, transcending physical distances and fostering dynamic cultural exchange. A notable trend is the widespread use of transliteration, where the English alphabet is employed to convey messages in native languages, posing a unique challenge for language technology in accurately detecting the source language. This paper addresses this challenge through a dataset of phone text messages in Hindi and Russian transliterated into English utilizing BERT for language classification and Google Translate API for transliteration conversion. The research pioneers innovative approaches to identify and convert transliterated text, navigating challenges in the diverse linguistic landscape of digital communication. Emphasizing the pivotal role of comprehensive datasets for training Large Language Models LLMs like BERT, our model showcases exceptional proficiency in accurately identifying and classifying languages from transliterated text. With a validation accuracy of 99% our models robust performance underscores its reliability. The comprehensive exploration of transliteration dynamics supported by innovative approaches and cutting edge technologies like BERT, positions our research at the forefront of addressing unique challenges in the linguistic landscape of digital communication. Beyond contributing to language identification and transliteration capabilities this work holds promise for applications in content moderation, analytics and fostering a globally connected community engaged in meaningful dialogue.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google