要約
インドのような開発途上国では、リソースに乏しい言語のデータと技術的な制限が不足しており、ヘルスケア用の洗練された NLU システムの開発に脅威をもたらしています。
ヘルスケアにおけるさまざまな最先端の言語モデルの現状を評価するために、このホワイト ペーパーでは、最初に 2 つの異なるヘルスケア データセット、Indian Healthcare Query Intent-WebMD および 1mg (IHQID-WebMD および IHQID-1mg) を提案することによって問題を調査します。
英語と複数のインド語 (ヒンディー語、ベンガル語、タミル語、テルグ語、マラーティー語、グジャラート語) による 1 つの現実世界のインドの病院のクエリ データで、クエリの意図とエンティティで注釈が付けられています。
私たちの目的は、クエリの意図を検出し、対応するエンティティを抽出することです。
さまざまな現実的な設定で一連のモデルに対して広範な実験を行い、英語データのみへのアクセス (低コスト) とターゲット言語データへのアクセス (高コスト) に基づく 2 つのシナリオを検討します。
実証分析を通じて、コンテキスト固有の実用的な関連性を分析します。
全体的な F1 スコアの観点から表された結果は、私たちのアプローチが意図とエンティティを識別するのに実際に役立つことを示しています。
要約(オリジナル)
Scarcity of data and technological limitations for resource-poor languages in developing countries like India poses a threat to the development of sophisticated NLU systems for healthcare. To assess the current status of various state-of-the-art language models in healthcare, this paper studies the problem by initially proposing two different Healthcare datasets, Indian Healthcare Query Intent-WebMD and 1mg (IHQID-WebMD and IHQID-1mg) and one real world Indian hospital query data in English and multiple Indic languages (Hindi, Bengali, Tamil, Telugu, Marathi and Gujarati) which are annotated with the query intents as well as entities. Our aim is to detect query intents and extract corresponding entities. We perform extensive experiments on a set of models in various realistic settings and explore two scenarios based on the access to English data only (less costly) and access to target language data (more expensive). We analyze context specific practical relevancy through empirical analysis. The results, expressed in terms of overall F1 score show that our approach is practically useful to identify intents and entities.
arxiv情報
| 著者 | Ankan Mullick,Ishani Mondal,Sourjyadip Ray,R Raghav,G Sai Chaitanya,Pawan Goyal |
| 発行日 | 2023-02-19 22:53:03+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google