Desarrollo de un sistema automático de análisis de expresiones faciales para la detección de la mentira en adultos utilizando técnicas de aprendizaje automático

Abstract

Existen 7 tipos de expresiones faciales universales, las cuales son: enfado, disgusto, miedo, felicidad, tristeza, sorpresa y desprecio. Estas expresiones faciales son indiferentes a la raza o la cultura de las regiones del mundo. Estas expresiones pueden ser falsificadas y son los pequeños movimientos los que nos pueden decir si una expresión está siendo real o es una mentira. Estos pequeños movimientos se llaman microexpresiones faciales, los cuales ocurren entre 1/15 y 1/25 segundos y son imperceptibles al ojo humano. Este trabajo de grado tiene como objetivo reconocer las microexpresiones faciales mediante un modelo profundo de aprendizaje automático. Para este fin, se desarrollan 3 modelos cada uno para dos bases de datos de microexpresiones faciales SMIC (X. Li, T. Pfister, X. Huang, G. Zhao & M. Pietikäinen, 2013) y CASME II (Yan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH & Fu X., 2014). El primer modelo implementado fue MicroExpSTCNN el cual fue propuesto por (S. P. Teja Reddy, S. Teja Karri, S. R. Dubey & S. Mukherjee, 2019) utilizando sobre las mismas bases de datos de microexpresiones faciales, este trabajo de grado logró obtener un accuracy mayor para ambas bases de datos (90 % para CASME II y 91.6 % para SMIC); que el reportado por la referencia, el cual fue de 87.80 % para la base de datos CASME II. El segundo modelo implementado fue un CNN 3D con data augmentation rotando las imágenes con cierto número de grados escogidos aleatoriamente, para este modelo se logró mejorar el acurracy para la base de datos CASME II (94.2 %). El tercer modelo se construyó con una CNN 2D temporal y una capa de LSTM, lo cual logró mejorar notablemente la predicción para ambas bases de datos de microexpresiones faciales, ya que tuvo en cuenta la característica temporal de los 18 frames. También se desarrolló una aplicación donde se creó el modelo de la red neuronal y se le cargaron los pesos entrenados previamente para ambas bases de datos de SMIC (X. Li, et al., 2013) y CASME II (Yan WJ, et al., 2014). Se usó el framework Flask para visualizar el video y mostrar la microexpresión facial que predice el modelo.

There are 7 types of universal facial expressions, which are: anger, disgust, fear, happiness, sadness, surprise and contempt. These facial expressions are indifferent to the race or culture of the world regions. These expressions can be faked and it is the small movements that can tell us if an expression is being real or a lie. These small movements are called facial micro-expressions, which occur between 1/15 and 1/25 seconds and are imperceptible to the human eye. This degree work aims to recognize facial microexpressions using a deep machine learning model. For this purpose, 3 models each are developed for two databases of SMIC facial microexpressions (X. Li, T. Pfister, X. Huang, G. Zhao & M. Pietikäinen, 2013) and CASME II (Yan WJ, Li X, Wang SJ, Zhao G, Liu YJ, Chen YH & Fu X., 2014). The first model implemented was MicroExpSTCNN which was proposed by (SP Teja Reddy, S. Teja Karri, SR Dubey & S. Mukherjee, 2019) using the same databases of facial microexpressions, this degree work managed to obtain a higher accuracy for both databases (90% for CASME II and 91.6% for SMIC); than that reported by the reference, which was 87.80% for the CASME II database. The second model implemented was a CNN 3D with data augmentation rotating the images with a certain number of degrees chosen randomly, for this model it was possible to improve the acurracy for the CASME II database (94.2%). The third model was built with a temporal 2D CNN and an LSTM layer, which managed to significantly improve the prediction for both databases of facial microexpressions, since it took into account the temporal characteristic of the 18 frames. An application was also developed where the neural network model was

created and the previously trained weights were loaded for both databases of SMIC (X. Li, et al., 2013) and CASME II (Yan WJ, et al., 2014). The Flask framework was used to visualize the video and show the facial microexpression predicted by the model.