mhGPT: A Lightweight Generative Pre-Trained Transformer for Mental Health Text Analysis

要約

この論文では、メンタルヘルス関連のソーシャル メディアと PubMed の記事でトレーニングされた、軽量の事前トレーニング済み生成トランスフォーマーである mhGPT を紹介します。
特定のメンタルヘルス タスク向けに微調整された mhGPT は、限られたハードウェア制約の下で評価され、MentaLLaMA や Gemma などの最先端のモデルと比較されました。
パラメーターが 19 億 8,000 万しかなく、データセットのわずか 5% しか使用していないにもかかわらず、mhGPT は大規模なモデルを上回り、より多くのデータでトレーニングされたモデルのパフォーマンスに匹敵しました。
主な貢献には、多様なメンタルヘルス データの統合、カスタム トークナイザーの作成、低リソース設定向けの小規模なアーキテクチャの最適化が含まれます。
この研究は、特にコンピューティング能力が限られている分野において、AI を活用したメンタルヘルスケアを前進させる可能性があります。

要約(オリジナル)

This paper introduces mhGPT, a lightweight generative pre-trained transformer trained on mental health-related social media and PubMed articles. Fine-tuned for specific mental health tasks, mhGPT was evaluated under limited hardware constraints and compared with state-of-the-art models like MentaLLaMA and Gemma. Despite having only 1.98 billion parameters and using just 5% of the dataset, mhGPT outperformed larger models and matched the performance of models trained on significantly more data. The key contributions include integrating diverse mental health data, creating a custom tokenizer, and optimizing a smaller architecture for low-resource settings. This research could advance AI-driven mental health care, especially in areas with limited computing power.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google