Inferring Intentions to Speak Using Accelerometer Data In-the-Wild

要約

人間には、他の人が何か言いたいことがあるとき、それを認識する優れた自然な直観力が備わっています。
AIも発話の意図を認識できたら面白いですね。
特に、AI がグループ ディスカッションをガイドするシナリオでは、これは役立つスキルとなります。
この研究では、加速度計のデータから発話の意図が成功した場合と失敗した場合の推論を研究しています。
これは、プライバシーが保護され、スマート バッジに配置できるため、自然環境での使用が可能であるという理由から選ばれています。
現実のソーシャル ネットワーキング イベントからのデータは、発言の意図を推測することを目的とした機械学習モデルのトレーニングに使用されます。
データ内の失敗した発話意図ケースのサブセットには注釈が付けられます。
モデルは、成功した発話意図に基づいてトレーニングされ、成功したケースと失敗したケースの両方で評価されます。
結論として、加速度センサーのデータには有用な情報が含まれていますが、発言の意図を確実に捕捉するには十分ではありません。
たとえば、姿勢の変化は話す意図と相関関係がありますが、人は話す意図がなくても姿勢を変えたり、姿勢を変えずに話すつもりで姿勢を変えたりすることもよくあります。
発言の意図を確実に推測するには、さらに多くのモダリティが必要になる可能性があります。

要約(オリジナル)

Humans have good natural intuition to recognize when another person has something to say. It would be interesting if an AI can also recognize intentions to speak. Especially in scenarios when an AI is guiding a group discussion, this can be a useful skill. This work studies the inference of successful and unsuccessful intentions to speak from accelerometer data. This is chosen because it is privacy-preserving and feasible for in-the-wild settings since it can be placed in a smart badge. Data from a real-life social networking event is used to train a machine-learning model that aims to infer intentions to speak. A subset of unsuccessful intention-to-speak cases in the data is annotated. The model is trained on the successful intentions to speak and evaluated on both the successful and unsuccessful cases. In conclusion, there is useful information in accelerometer data, but not enough to reliably capture intentions to speak. For example, posture shifts are correlated with intentions to speak, but people also often shift posture without having an intention to speak, or have an intention to speak without shifting their posture. More modalities are likely needed to reliably infer intentions to speak.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google