RetrieveGPT: Merging Prompts and Mathematical Models for Enhanced Code-Mixed Information Retrieval

要約

コードミキシング、つまり単一の文内に複数の言語の語彙要素と文法要素を統合することは、広く普及している言語現象であり、特に多言語社会でよく見られます。
インドでは、特にオンライン グループを形成して関連する地元情報を共有する移民コミュニティの間で、ソーシャル メディア ユーザーがローマ字を使用したコード混合の会話を頻繁に行っています。
この論文は、コードが混在した会話、特に英語とローマ字訳されたベンガル語の会話から関連情報を抽出するという課題に焦点を当てています。
この研究では、コードが混在した会話から最も関連性の高い回答を自動的に特定するメカニズムを開発することで、これらの課題に対処する新しいアプローチを紹介します。
このタスクを支援するために、Facebook からのクエリとドキュメント、およびクエリ関連性ファイル (QRels) で構成されるデータセットを実験しました。
私たちの結果は、コードが混在した複雑なデジタル会話から関連情報を抽出するアプローチの有効性を実証し、多言語で非公式なテキスト環境における自然言語処理の広範な分野に貢献します。
プロンプト経由で GPT-3.5 Turbo を使用するとともに、関連ドキュメントの連続的な性質を利用して、クエリに対応する関連ドキュメントを検出するのに役立つ数学的モデルを構築します。

要約(オリジナル)

Code-mixing, the integration of lexical and grammatical elements from multiple languages within a single sentence, is a widespread linguistic phenomenon, particularly prevalent in multilingual societies. In India, social media users frequently engage in code-mixed conversations using the Roman script, especially among migrant communities who form online groups to share relevant local information. This paper focuses on the challenges of extracting relevant information from code-mixed conversations, specifically within Roman transliterated Bengali mixed with English. This study presents a novel approach to address these challenges by developing a mechanism to automatically identify the most relevant answers from code-mixed conversations. We have experimented with a dataset comprising of queries and documents from Facebook, and Query Relevance files (QRels) to aid in this task. Our results demonstrate the effectiveness of our approach in extracting pertinent information from complex, code-mixed digital conversations, contributing to the broader field of natural language processing in multilingual and informal text environments. We use GPT-3.5 Turbo via prompting alongwith using the sequential nature of relevant documents to frame a mathematical model which helps to detect relevant documents corresponding to a query.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google