要約
高度な大規模言語モデル (LLM) ChatGPT は、さまざまなドメインでその可能性を示しており、他の LLM と比較したその特性により無敵のままです。
この研究は、アラビア語の個人医療アシスタントとして微調整された ChatGPT モデルを使用する可能性を評価することを目的としています。
そのために、この研究では、オンラインで公開されているアラビア語の質問と回答データセットを使用しています。
20 の疾患固有のカテゴリに対して、約 43 万件の質問と回答があります。
GPT-3.5 ターボ モデルは、このデータセットの一部を使用して微調整されました。
この微調整されたモデルのパフォーマンスは、自動評価と人間による評価によって評価されました。
自動評価には、複雑さ、一貫性、類似性、トークン数が含まれます。
医学知識を持つアラビア語ネイティブスピーカーが、関連性、正確さ、精度、論理性、独創性を計算して、生成されたテキストを評価しました。
全体的な結果は、ChatGPT が医療支援において明るい未来を持っていることを示しています。
要約(オリジナル)
The advanced large language model (LLM) ChatGPT has shown its potential in different domains and remains unbeaten due to its characteristics compared to other LLMs. This study aims to evaluate the potential of using a fine-tuned ChatGPT model as a personal medical assistant in the Arabic language. To do so, this study uses publicly available online questions and answering datasets in Arabic language. There are almost 430K questions and answers for 20 disease-specific categories. GPT-3.5-turbo model was fine-tuned with a portion of this dataset. The performance of this fine-tuned model was evaluated through automated and human evaluation. The automated evaluations include perplexity, coherence, similarity, and token count. Native Arabic speakers with medical knowledge evaluated the generated text by calculating relevance, accuracy, precision, logic, and originality. The overall result shows that ChatGPT has a bright future in medical assistance.
arxiv情報
| 著者 | Md. Rafiul Biswas,Ashhadul Islam,Zubair Shah,Wajdi Zaghouani,Samir Brahim Belhaouari |
| 発行日 | 2023-12-19 09:54:27+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google