- 27
- Цифровая аналитика эмоций: пилотажное исследование распознавания эмоций человека с помощью сенсоров мобильных устройств
- Чернятьев А.Л., Лебедев А.П. Цифровая аналитика эмоций: пилотажное исследование распознавания эмоций человека с помощью сенсоров мобильных устройств // Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2021. Т. 27, № 4. С. 200-207. ISSN 2073-1426. https://doi.org/10.34216/2073-1426-2021-27-4-200-207
- DOI: https://doi.org/10.34216/2073-1426-2021-27-4-200-207
- УДК: 159.93
- Дата приема статьи в публикацию: 28.11.2021
- Аннотация: Аффективные вычисления (affective computing) – стремительно развивающаяся область на стыке психологии и разработки систем искусственного интеллекта. Данный исследовательский проект посвящен распознаванию эмоций и психических состояний человека через сенсоры мобильных устройств (акселерометр, гироскоп и т. д.), которые фиксируют особенности микро- и макромоторики рук, характерные для исследуемых состояний. В пилотажном исследовании рассматривалась возможность фиксации и дифференциации психоэмоциональных состояний по показаниям сенсоров мобильных устройств (планшета, смартфона), с использованием моделей машинного обучения. В результате удалось получить модели, определяющие по показаниям сенсоров мобильного устройства в руках человека, находится ли он в нейтральном эмоциональном состоянии либо испытывает стресс. Причем состояние стресса также удалось дифференцировать по двум модальностям: стресс, вызванный психологическими причинами («исполнение обязательств») и психофизиологическими причинами (неприятный шум в наушниках). Статистически значимые различия, а также относительно высокая точность построенной модели машинного обучения позволяют говорить о достоверности полученных результатов и подтверждают гипотезу о возможности выделения и классификации эмоциональных состояний с помощью сенсоров мобильных устройств.
- Ключевые слова: affective computing, распознавание эмоций, стресс, диагностика, сенсоры мобильных устройств, машинное обучение
- Финансирование и благодарности: Работа выполнена при поддержке Фонда содействия инновациям, проект ГРНТИС5/63391
- Список литературы: Крюкова Т.Л. Психология совладающего поведения: современное состояние и психологические, социокультурные перспективы // Вестник Костромского государственного университета. 2013. Т. 19, № 5. С. 184–488. Курганский Н.А., Немчин Т.А. Оценка психической активации, интереса, эмоционального тонуса, напряжения и комфортности: Практикум по экспериментальной и прикладной психологии. Л., 1990. С. 44–50. Рассказова Е.И., Гордеева Т.О. Копинг-стратегии в психологии стресса: подходы, методы и перспективы исследований // Психологические исследования: электрон. науч. журнал. 2011. № 3. С. 1–4. Хазова С.А. Копинг-ресурсы субъекта: основные направления и перспективы исследования // Вестник Костромского государственного университета. 2013. Т. 19, № 5. С. 188–191. Aeluri P., Vijayarajan V. Extraction of Emotions from Speech - A Survey. International Journal of Applied Engineering Research, 2017, vol. 12, pp. 5760–5767. Bauer G., Lukowicz P. Can smartphones detect stress-related changes in the behaviour of individuals? 2012 IEEE international conference on pervasive computing and communications workshops. IEEE, 2012, pp. 423–426. Beaudry A., Pinsonneault A. The other side of acceptance: Studying the direct and indirect effects of emotions on information technology use. MIS quarterly, 2010, pp. 689–710. Ciman M., Wac K. Individuals’ stress assessment using human-smartphone interaction analysis. IEEE Transactions on Affective Computing, 2016, vol. 9/1, pp. 51–65. Cui L., Li S., Zhu T. Emotion detection from natural walking. International Conference on Human Centered Computing. Springer. Cham, 2016, pp. 23–33. Ekman P., Friesen W.V. Constants across cultures in the face and emotion. Journal of personality and social psychology, 1971, vol. 17/2, pp. 124–129. https://doi.org/10.1037/h0030377 Exposito M., Hernandez J., Picard R.W. Affective keys: towards unobtrusive stress sensing of smartphone users. Proceedings of the 20th international conference on human-computer interaction with Mobile devices and services adjunct, 2018, pp. 139–145. Furey E., Blue J. The Emotographic Iceberg: Modelling Deep Emotional Affects Utilizing Intelligent Assistants and the IoT. 2019 19th International Conference on Computational Science and Its Applications (ICCSA). IEEE, 2019, pp. 175–180. Hashmi M.A. et al. Motion Reveal Emotions: Identifying Emotions from Human Walk Using Chest Mounted Smartphone. IEEE Sensors Journal, 2020, vol. 20/22, pp. 13511–13522. Heilman K.H. The neurobiology of emotional experience. The neuropsychiatry of limbic and subcortical disorders, 1997, pp. 133–142. IJsselsteijn W.A., de Kort Y.A.W., Poels K. The game experience questionnaire. Eindhoven: Technische Universiteit Eindhoven, 2013, vol. 46/1, pp. 1–10. Johnson D., Gardner M.J., Perry R. Validation of two game experience scales: the player experience of need satisfaction (PENS) and game experience questionnaire (GEQ). International Journal of Human-Computer Studies, 2018, vol. 118, pp. 38–46. Kołakowska A., Landowska A., Szwoch M. et al. Emotion recognition and its application in software engineering. In Proceedings of the 2013 6th International Conference on Human System Interactions (HSI). Poland, 2013, pp. 532–539. Kołakowska A., Szwoch W., Szwoch M. A Review of Emotion Recognition Methods Based on Data Acquired via Smartphone Sensors. Sensors (Basel, Switzerland), 2020, vol. 20/1, pp. E6367. Kołakowska A. Towards detecting programmers’ stress on the basis of keystroke dynamics. In Proceedings of the 2016 Federated Conference on Computer Science and Information Systems (FedCSIS). Poland, 2016, pp. 1621–1626. Landowska A., Szwoch M., Szwoch W. Methodology of affective intervention design for intelligent systems. Interacting with Computers, 2016, vol. 28/6, pp. 737–759. Law E.L.C., Brühlmann F., Mekler E.D. Systematic review and validation of the game experience questionnaire (geq)-implications for citation and reporting practice. Proceedings of the 2018 Annual Symposium on Computer-Human Interaction in Play, 2018, pp. 257–270. Li S., Deng W. Deep Facial Expression Recognition: A Survey. IEEE Transactions on Affective Computing, 2020, vol. 1, p. 1. Maramis C. et al. Emotion recognition from haptic touch on android device screens. International Conference on Biomedical and Health Informatics. Springer, Singapore, 2017, pp. 205–209. Mehta D., Siddiqui M.F.H., Javaid A.Y. Facial emotion recognition: A survey and real-world user experiences in mixed reality. Sensors, 2018, vol. 18/2, pp. 416–424. Mitra S., Acharya T. Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2007, vol. 37/3, pp. 311–324. Mogenson G.J., Jones D.L., Yim C.Y. From motivation to action: functional interface between the limbic system and the motor system. Progress in neurobiology. 1980, vol. 14/2-3, pp. 69–97. Montgomery K.J., Haxby J.V. Mirror neuron system differentially activated by facial expressions and social hand gestures: a functional magnetic resonance imaging study. Journal of Cognitive Neuroscience, 2008, vol. 20/10, pp. 1866–1877. Mottelson A., Hornbæk K. An affect detection technique using mobile commodity sensors in the wild. Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing, 2016, pp. 781–792. Muaremi A., Arnrich B., Tröster G.A. Survey on Measuring Happiness with Smart Phones. In Proceedings of the 6th International Workshop on Ubiquitous Health and Wellness (Part of Pervasive 2012 Conference). Newcastle, 2012, pp. 1–12. Nalepa G.J. et al. Analysis and use of the emotional context with wearable devices for games and intelligent assistants. Sensors, 2019, vol. 19/11, pp. 2509. Noroozi F. et al. Survey on emotional body gesture recognition. IEEE transactions on affective computing, 2018, pp. 505–523. Rana R., Hume M., Reilly J. et al. Opportunistic and Context-Aware Affect Sensing on Smartphones. IEEE Pervasive Comput, 2016, vol. 15, pp. 60–69. Ruensuk M. et al. Detecting negative emotions during social media use on smartphones. Proceedings of Asian CHI Symposium 2019: Emerging HCI Research Collection, 2019, pp. 73–79. Sailunaz K. et al. Emotion detection from text and speech: a survey. Social Network Analysis and Mining, 2018, vol. 8/1, pp. 1–26. Sariyanidi E., Gunes H., Cavallaro A. Automatic Analysis of Facial Affect: A Survey of Registration, Representation, and Recognition. IEEE Trans. Pattern Anal. Mach. Intell, 2015, vol. 37, pp. 1113–1133. Stephens-Fripp B. et al. Automatic affect perception based on body gait and posture: A survey. International Journal of Social Robotics, 2017, vol. 9/5, pp. 617–641. Szwoch M. Evaluation of affective intervention process in development of affect-aware educational video games. In Proceedings of the 2016 Federated Conference on Computer Science and Information Systems (FedCSIS). Poland, 2016, pp. 1675–1679. Szwoch M., Szwoch W. Using Different Information Channels for Affect-Aware Video Games – A Case Study. In Image Processing and Communications Challenges 10; Springer: Cham. Switzerland, 2019, vol. 892, pp. 104–113. Tang J. et al. Quantitative study of individual emotional states in social networks. IEEE Transactions on Affective Computing, 2011, vol. 3/2, pp. 132–144. Tikadar S., Bhattacharya S. A Novel Method to Build and Validate an Affective State Prediction Model from Touch-Typing. IFIP Conference on Human-Computer Interaction. Springer, 2019, pp. 99–119. Tikadar S. et al. A minimalist approach for identifying affective states for mobile interaction design. IFIP Conference on Human-Computer Interaction. Springer, 2017, pp. 3–12. Trojahn M. et al. Emotion Recognition through Keystroke Dynamics on Touchscreen Keyboards. ICEIS (3), 2013, pp. 31–37. Wampfler R. et al. Affective state prediction based on semi-supervised learning from smartphone touch data. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 2020, pp. 1–13. Wu T., Fu S., Yang G. Survey of the Facial Expression Recognition Research. In Advances in Brain Inspired Cognitive Systems. Germany, 2012, pp. 392–402. Xhafa F., Patnaik S., Zomaya A.Y. Springer International Publishing, 2018, pp. 345–352. URL: https://www.researchgate.net/publication/340172930 (access date: 10.10.2021). Xu S. et al. Emotion Recognition From Gait Analyses: Current Research and Future Directions, 2003, pp. 11461. URL: https://ui.adsabs.harvard.edu/abs/2020arXiv200311461X/abstract (access date: 10.10.2021). Zeng Z., Pantic M., Roisman G.I. et al. A Survey of Affect Recognition Methods: Audio, Visual, and Spontaneous Expressions. IEEE Trans. Pattern Anal. Mach. Intell, 2009, vol. 31, pp. 39–58. Zhang T. Facial expression recognition based on deep learning: a survey. International conference on intelligent and interactive systems and applications, 2017, pp. 345–352.