Questionnaires for Everyone: Streamlining Cross-Cultural Questionnaire Adaptation with GPT-Based Translation Quality Evaluation

要約

アンケートを新しい言語に適応させることは、多くの場合、複数の独立した翻訳者の雇用を必要とするリソース集約的なプロセスであり、そのため、研究者の異文化研究を実施する能力が制限され、事実上、研究と社会に不平等が生じます。
この研究では、アンケートの翻訳プロセスを迅速化できるプロトタイプ ツールを紹介します。
このツールには、GPT-4 で生成された翻訳品質の評価と改善提案とともに、DeepL を使用した順方向翻訳と逆方向翻訳が組み込まれています。
私たちは、プロトタイプを使用して参加者がアンケートを英語からドイツ語 (研究 1; n=10) またはポルトガル語 (研究 2; n=20) に翻訳する 2 つのオンライン研究を実施しました。
ツールを使用して作成された翻訳の品質を評価するために、従来の翻訳版とツールサポート版の評価スコアを比較しました。
私たちの結果は、LLM によって生成された翻訳品質の評価と改善のための提案を統合することで、ユーザーが従来の NLP をサポートしていない翻訳方法で提供されるものと同様の結果を独自に達成できることを示しています。
これは、AI を活用した、より公平なアンケートベースの研究に向けた第一歩です。

要約(オリジナル)

Adapting questionnaires to new languages is a resource-intensive process often requiring the hiring of multiple independent translators, which limits the ability of researchers to conduct cross-cultural research and effectively creates inequalities in research and society. This work presents a prototype tool that can expedite the questionnaire translation process. The tool incorporates forward-backward translation using DeepL alongside GPT-4-generated translation quality evaluations and improvement suggestions. We conducted two online studies in which participants translated questionnaires from English to either German (Study 1; n=10) or Portuguese (Study 2; n=20) using our prototype. To evaluate the quality of the translations created using the tool, evaluation scores between conventionally translated and tool-supported versions were compared. Our results indicate that integrating LLM-generated translation quality evaluations and suggestions for improvement can help users independently attain results similar to those provided by conventional, non-NLP-supported translation methods. This is the first step towards more equitable questionnaire-based research, powered by AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google