LISBET: a self-supervised Transformer model for the automatic segmentation of social behavior motifs

要約

社会的行動は、個人が他者に応じて行動し反応するプロセスとして定義され、社会の機能にとって極めて重要であり、精神的健康に重大な影響を及ぼします。
社会的行動の複雑さを完全に把握し、社会的欠陥に対処するための潜在的な治療標的を特定するには、その中心原則を理解することが不可欠です。
機械学習アルゴリズムにより、複雑な行動の特定の側面を研究することが容易になりましたが、現在の方法論は主に単一の動物の行動に焦点を当てる傾向があります。
この研究では、社会的相互作用を検出してセグメント化するために設計されたモデルである LISBET (自己教師あり社会行動変換器) を紹介します。
私たちのモデルは、自己教師あり学習を使用して動的な体の部位の追跡データから社会的行動を検出して定量化することにより、特徴の選択と人間による広範な注釈の必要性を排除します。
LISBET は、仮説駆動モードで教師あり微調整を使用して行動分類を自動化し、発見駆動モードで教師なし学習を使用して社会的行動モチーフをセグメント化するために使用できます。
私たちは、発見主導型アプローチを使用して認識されたモチーフが人間の注釈と密接に一致するだけでなく、腹側被蓋野（VTA）のドーパミン作動性ニューロンの電気生理学的活動と相関していることを発見しました。
私たちは、LISBET がコミュニティの社会的行動とその神経基盤に対する理解の向上に役立つことを願っています。

要約(オリジナル)

Social behavior, defined as the process by which individuals act and react in response to others, is crucial for the function of societies and holds profound implications for mental health. To fully grasp the intricacies of social behavior and identify potential therapeutic targets for addressing social deficits, it is essential to understand its core principles. Although machine learning algorithms have made it easier to study specific aspects of complex behavior, current methodologies tend to focus primarily on single-animal behavior. In this study, we introduce LISBET (seLf-supervIsed Social BEhavioral Transformer), a model designed to detect and segment social interactions. Our model eliminates the need for feature selection and extensive human annotation by using self-supervised learning to detect and quantify social behaviors from dynamic body parts tracking data. LISBET can be used in hypothesis-driven mode to automate behavior classification using supervised finetuning, and in discovery-driven mode to segment social behavior motifs using unsupervised learning. We found that motifs recognized using the discovery-driven approach not only closely match the human annotations but also correlate with the electrophysiological activity of dopaminergic neurons in the Ventral Tegmental Area (VTA). We hope LISBET will help the community improve our understanding of social behaviors and their neural underpinnings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google