要約
ChatGPT と呼ばれる大規模な言語モデルは、人間のような表現力と推論能力を備えているため、広く注目されています。
この研究では、ChatGPT を使用した実験で ChatGPT を使用して、患者や医療提供者が医療の改善のために教育を受けられるように、放射線レポートを平易な言葉に翻訳することの実現可能性を調査します。
62 件の低線量胸部 CT 肺癌スクリーニング スキャンと 76 件の脳 MRI 転移スクリーニング スキャンからの放射線レポートが、この研究のために 2 月前半に収集されました。
放射線科医による評価によると、ChatGPT は 5 段階評価システムで 0.08 箇所の情報が欠落しており、0.07 箇所が誤報であり、平均スコアが 4.27 で、放射線レポートを平易な言葉にうまく翻訳することができます。
ChatGPTが提供する提案に関しては、医師へのフォローアップや症状の監視などの一般的な関連性があり、全体で138件の約37%のケースに対して、ChatGPTはレポートの調査結果に基づいて具体的な提案を提供しています.
ChatGPT はまた、時折過度に単純化された情報や無視された情報を含む応答にランダム性を示しますが、これはより詳細なプロンプトを使用して軽減できます.
さらに、ChatGPT の結果は、新しくリリースされた大規模モデル GPT-4 と比較され、GPT-4 が翻訳されたレポートの品質を大幅に改善できることが示されています。
私たちの結果は、臨床教育で大規模な言語モデルを利用することが実現可能であることを示しており、制限に対処し、その可能性を最大化するには、さらなる努力が必要です。
要約(オリジナル)
The large language model called ChatGPT has drawn extensively attention because of its human-like expression and reasoning abilities. In this study, we investigate the feasibility of using ChatGPT in experiments on using ChatGPT to translate radiology reports into plain language for patients and healthcare providers so that they are educated for improved healthcare. Radiology reports from 62 low-dose chest CT lung cancer screening scans and 76 brain MRI metastases screening scans were collected in the first half of February for this study. According to the evaluation by radiologists, ChatGPT can successfully translate radiology reports into plain language with an average score of 4.27 in the five-point system with 0.08 places of information missing and 0.07 places of misinformation. In terms of the suggestions provided by ChatGPT, they are general relevant such as keeping following-up with doctors and closely monitoring any symptoms, and for about 37% of 138 cases in total ChatGPT offers specific suggestions based on findings in the report. ChatGPT also presents some randomness in its responses with occasionally over-simplified or neglected information, which can be mitigated using a more detailed prompt. Furthermore, ChatGPT results are compared with a newly released large model GPT-4, showing that GPT-4 can significantly improve the quality of translated reports. Our results show that it is feasible to utilize large language models in clinical education, and further efforts are needed to address limitations and maximize their potential.
arxiv情報
| 著者 | Qing Lyu,Josh Tan,Michael E. Zapadka,Janardhana Ponnatapura,Chuang Niu,Kyle J. Myers,Ge Wang,Christopher T. Whitlow |
| 発行日 | 2023-03-29 03:22:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google