Towards Global AI Inclusivity: A Large-Scale Multilingual Terminology Dataset

要約

機械翻訳の分野は大幅な進歩を遂げていますが、特に AI における分野固有の用語の翻訳は依然として困難です。
私たちは、2000 年から 2023 年にわたる主要な AI カンファレンスの論文から抽出された 5,000 個の用語を含む大規模な多言語 AI 用語データセットである GIST を導入しました。用語は、抽出用に LLM を組み合わせたハイブリッド フレームワークを使用して、アラビア語、中国語、フランス語、日本語、ロシア語に翻訳されました。
翻訳には人間の専門知識が必要です。
データセットの品質は既存のリソースに対してベンチマークされ、クラウドソーシングによる評価を通じて優れた翻訳精度が実証されました。
GIST は、再トレーニングを必要としない翻訳後の改善方法を使用して翻訳ワークフローに統合され、LLM によって BLEU および COMET スコアが一貫して向上しました。
ACL Anthology プラットフォームの Web デモでは、その実用的なアプリケーションが強調され、英語を話さない人にとってのアクセシビリティの向上が示されています。
この取り組みは、AI 用語リソースの重大なギャップに対処し、AI 研究におけるグローバルな包括性とコラボレーションを促進することを目的としています。

要約(オリジナル)

The field of machine translation has achieved significant advancements, yet domain-specific terminology translation, particularly in AI, remains challenging. We introduced GIST, a large-scale multilingual AI terminology dataset containing 5K terms extracted from top AI conference papers spanning 2000 to 2023. The terms were translated into Arabic, Chinese, French, Japanese, and Russian using a hybrid framework that combines LLMs for extraction with human expertise for translation. The dataset’s quality was benchmarked against existing resources, demonstrating superior translation accuracy through crowdsourced evaluation. GIST was integrated into translation workflows using post-translation refinement methods that required no retraining, where LLM prompting consistently improved BLEU and COMET scores. A web demonstration on the ACL Anthology platform highlights its practical application, showcasing improved accessibility for non-English speakers. This work aims to address critical gaps in AI terminology resources and fosters global inclusivity and collaboration in AI research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google