Tamil Language Computing: the Present and the Future

要約

この論文では、コンピュータが人間の言語を理解し、解釈し、生成できるようにする言語コンピューティングのテキスト処理の側面を詳しく掘り下げます。
言語コンピューティングは、音声認識、機械翻訳、感情分析、テキスト要約、言語モデリングなどのタスクに焦点を当て、言語学、コンピューター サイエンス、認知心理学などの分野を統合して、意味のある人間とコンピューターのインタラクションを作成します。
深層学習の最近の進歩により、コンピューターはよりアクセスしやすくなり、独立した学習と適応が可能になりました。
この論文では、言語コンピューティングの状況を調査する際に、タミル語が ASCII から Unicode に移行してデジタル コミュニケーションを強化するエンコーディングなどの基礎的な作業に重点を置いています。
効果的な言語処理に必要な、生データ、辞書、用語集、注釈付きデータ、計算文法などの計算リソースの開発について説明します。
言語注釈、ツリーバンクの作成、大規模な言語モデルのトレーニングの課題についても取り上げ、高品質の注釈付きデータと高度な言語モデルの必要性を強調しています。
この論文は、日常のコミュニケーションのニーズに対応するためにタミル語のような言語の実用的なアプリケーションを構築することの重要性を強調し、現在のテクノロジーのギャップを浮き彫りにしています。
研究協力の強化、歴史文書のデジタル化、タミル語処理の包括的な発展を確実にするためのデジタル利用の促進が求められ、最終的には世界的なコミュニケーションとデジタルサービスへのアクセスが強化されます。

要約(オリジナル)

This paper delves into the text processing aspects of Language Computing, which enables computers to understand, interpret, and generate human language. Focusing on tasks such as speech recognition, machine translation, sentiment analysis, text summarization, and language modelling, language computing integrates disciplines including linguistics, computer science, and cognitive psychology to create meaningful human-computer interactions. Recent advancements in deep learning have made computers more accessible and capable of independent learning and adaptation. In examining the landscape of language computing, the paper emphasises foundational work like encoding, where Tamil transitioned from ASCII to Unicode, enhancing digital communication. It discusses the development of computational resources, including raw data, dictionaries, glossaries, annotated data, and computational grammars, necessary for effective language processing. The challenges of linguistic annotation, the creation of treebanks, and the training of large language models are also covered, emphasising the need for high-quality, annotated data and advanced language models. The paper underscores the importance of building practical applications for languages like Tamil to address everyday communication needs, highlighting gaps in current technology. It calls for increased research collaboration, digitization of historical texts, and fostering digital usage to ensure the comprehensive development of Tamil language processing, ultimately enhancing global communication and access to digital services.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google