Modeling human behaviour to improve retail efficiency and health monitoring

Abstract

Esta disertacion presenta un modelo para expresar las caracteristicas mas relevantes del comportamiento humano, especificando dos instancias personalizadas para los dominios de monitorizacion de salud y tiendas inteligentes. Estas caracteristicas se dividen en estaticas y dinamicas. Para las estaticas los rasgos faciales son. los mas relevantes ya que pueden expresar diferentes atributos de los sujetos como edad, genero, emociones ... Para ese proposito, las marcas faciales y la pose son los puntos de interes mas significativos. Sin embargo, la postura del cuerpo tambien puede revelar algunas caracteristicas interesantes del estado actual de una persona y tambien debe tenerse en cuenta. En cuanto a las propiedades dinamicas, las trayectorias descritas por un sujeto en el escenario de monitorizacion tambien pueden expresar propiedades muy utiles. Es una tarea basica para delimitar el area donde se encuentra el sujeto, que es obligatoria para realizar las inferencias estaticas. Las interacciones del usuario con el entorno son caracteristicas muy relevantes, y deben ser modeladas tambien. El modelo inicial ha sido evolucionado para los dominios mencionados anteriormente. Las tiendas inteligentes son un escenario en el que los compradores expresan una gran cantidad de caracteristicas que deben ser consideradas por los profesionales de este ambito. Conceptos tales como densidad de las areas del establecimiento, el foco de atencion, interacciones con los productos, la gestion de colas o la caracterizacion de los visitantes deben ser tenidos en cuenta en el modelo para mejorar la eficiencia de las tiendas fisicas. Un campo completamente diferente como la monitorizacion de la salud podria llevar a un enfoque completamente diferente. Pero las trayectorias de los pacientes, sus propiedades faciales, sus interacciones o su postura corporal tambien son significativos en este sentido. En nuestro trabajo hemos estudiado principalmente el comportamiento de los pacientes con enfermedades cognitivas para asistir en la toma de decisiones a los profesionales de la salud. Este campo requiere monitorizacion en diferentes escenarios como el hogar del paciente, el centro clinico o el centro de rehabilitacion. Para ello se propone un sistema escalable que permita realizar un seguimiento preciso. En este ambito se deben considerar tambien caracteristicas medicas tales como el tratamiento de los pacientes, su evolucion de la postura del cuerpo en sesiones de fisioterapia o mediciones tales como la temperatura de su cuerpo o su ritmo cardiaco. Una vez establecida la arquitectura de cada dominio, hemos ido mas alla en dos tareas de vision artificial y aprendizaje maquina: seguimiento de personas y analisis facial. Para la primera hemos desarrollado dos soluciones que se han probado en escenarios reales y en entornos controlados que son adecuados para un analisis mas profundo. Descriptores de caracteristicas como HOG o LBP han sido evaluados, y clasificadores de aprendizaje automatico como Adaboost o Support Vector Machine han sido optimizados. Se propone la mejor combinacion para las tecnicas expuestas anteriormente y se exponen resultados en los diferentes escenarios propuestos para validar nuestra propuesta. Para el analisis de caracteristicas faciales se propone un sistema de adquisicion RGB-D multi-camara capaz de capturar propiedades faciales en posturas extremas. La recoleccion de datos llevada a cabo permite la reconstruccion 3D de las areas faciales de los 92 sujetos capturados, para lo que se propone un procedimiento completo. El sistema propuesto viene motivado por la gran cantidad de datos anotados que requieren los metodos de aprendizaje profundo. Nos basamos en este concepto para realizar un aumentado de datos innovador para la deteccion de marcas faciales que se ha probado y analizado en dos de las arquitecturas de aprendizaje profundo mas atractivas del estado del arte. La estimacion de la postura de la cabeza es otra tarea relevante para esta tesis, a traves de la reconstruccion 3D y la deteccion de marcas faciales se ha implementado un metodo para validar la alineacion de los datos capturados. Finalmente, se proporciona un modelo de base de conocimiento para almacenar los datos de forma estructurada, conceptualmente basado \u200b\u200ben las propiedades jerarquicas y semanticas de los dominios estudiados. Los modelos de datos son considerados como la salida para los campos propuestos, y estan disenados para mejorar el rendimiento de los profesionales en ambas areas.