Seleccione su idioma:  ukflag    span flag   
Daniel Martinez Capilla personal webpage - Thesis

Traductor de Lenguaje de Signos utilizando Microsoft Kinect XBOX 360
Una Máster tesis para el Erasmus Mundus in Computer Vision and Robotics Master (VIBOT 5)
por Daniel Martínez Capilla


Máster Tesis: Traductor de Lenguaje de Signos utilizando Microsoft Kinect XBOX 360

Subido por Admin el 5 de Junio, 2012

Video con el resultado final de mi Máster tesis

Introducción

Al contrario de otros animales, los humanos han sido dotados con la capacidad de la voz para comunicarse con otras personas. Es por eso que el lenguaje hablado se ha convertido en uno de los principales atributos de la humanidad. Desgraciadamente, no todo el mundo tiene esta capacidad debido a la falta de uno de los sentidos vitales: el oído. Los lenguajes de signos son el modo de comunicación alternativo para la comunidad sorda y varios diccionarios de signos o letras han sido creados para hacer esta comuniación posible.
El objetivo de esta tesis consiste en desarrollar un Traductor de lenguaje de Signos automático utilizando el tipo de datos que la cámara Microsoft Kinect XBOX 360 proporciona. La idea es que un usuario ejecute un signo delante de esta cámara y que el sistema sea capaz de traducir y dar como salida la palabra correspondiente en la lengua hablada. Pueden entender el objetivo del proyecto mirando la Fig 1.

Goal of the system
A. Propuesta de la tesis
Diferentes trabajos o proyectos sobre Traductores de lenguaje de Signos han sido propuestos con anterioridad y el Reconocimiento Gestual ha sido siempre un area de investigación activa. Varios autores han tratado de buscar soluciones a este problema pero la mayoría acaban utilizando complejas implementaciones o descriptores probabilísticos que incrementan el coste computacional de los sistemas.

En un proyecto como éste, con tan solo 3 meses de tiempo disponible para su desarollo, las limitaciones temporales son un problema. Por este motivo decidí fijar un objetivo adecuado y viable desde un inicio. La intención es la de diseñar y hacer funcionar un Traductor de Lenguaje de Signos del modo más simple posible y dejar el proyecto abierto a futuras modificaciones o mejoras. Empezando por una implementación básica y mejorándolo hasta que se logre la mejor eficiencia del sistema.

Para diseñar un Traductor de lenguaje de Signos hay que tener en cuenta la influencia de su lingüística. La morfología y la sintaxi juegan un papel importante y el orden de los signos o los componentes no-manuales (movimiento de los labios, expresión facial, etc) pueden cambiar drásticamente el significado de un signo. Estas consideraciones hacen todavía más complicado si cabe el proceso de traducción. El Traductor de Lenguaje de Signos que aquí se presenta debe ser capaz de satisfacer los siguientes puntos:
  • Utilizar los datos que la cámara Microsoft Kinect XBOX 360 proporciona.
  • Reconocer una lista de signos básicos. Esta lista contiene palabras clave como las que aparecen en la Table I. Utilizando estas palabras/signos, el usuario sordo podrá ser capaz de transmitir lo que necesita y la comunicación entre un usuario sordo y un usuario ordinario será entonces posible (vuelva a ver Fig 1).
  • Teniendo en cuenta el tipo de datos que la Microsoft Kinect XBOX 360TM proporciona, los signos aquí utilizados no pertenecen a un lenguaje oficial de Signos ya que el objetivo del proyecto es el de hacer funcionar el sistema con un número considerable de palabras con sentido. Si el diccionario estuviera compuesto por palabras de un lenguaje oficial, la variedad de palabras con sentido que podrían ser seleccionadas sería menor ya que a veces la diferencia entre estas palabras reside en componentes que este proyecto no tiene en cuenta (posición de los dedos, movimiento de los labios, etc.).
  • Diseño de una interfície de usuario que sea simple de usar y en la que el usuario no requiera ningún tipo de aprendizaje previo la primera vez que la use.
  • El sistema debe funcionar en tiempo real y mostrar la palabra correspondiente una vez un signo es ejecutado.
  • Permitir al usuario auto-entrenar al diccionario añadiendo nuevos signos.Dictionary
B. Contribución
Utilizando la capacidad de "tracking" de la camera Kinect, un descriptor de 8 dimensiones para cada fotograma es presentado en este proyecto. Además, un clasificador Nearest Neighbor Dynamic Time Warping y un clasificador Nearest Group Dynamic Time Warping son desarollados para comparar los signos. Con estos descriptores y clasificadores y haciendo uso de la Microsoft Kinect XBOX 360, el sistema se presenta con un diseño eficiente sin la necesidad de sacrificar la eficiencia de reconocimiento de signos comparado con otros proyectos. Además, el proyecto intenta ser un estudio viable donde la demostración del concepto que utiliza es el más importante de los objetivos. Se ha definido un diccionario de 14 signos no oficiales. Este diccionario contiene palabras básicas como "soy/eres", "doctor", "tengo", "hola", "caliente", "hambre", "yo", "amar", "telefono", "jugar", "pregunta", "enfermo", "quiero" y "tu". Combinando estas palabras, se ha definido también una lista de frases básicas que permiten transimitir la necesidad del usuario ("Quiero ver a un doctor", "Estoy enfermo",etc, Table 3.3)

Daniel Martínez Capilla

Subido por Admin el 4 de Abril, 2012

Personal picture
Acceda a mi currículum vitae.

Descargar

Vea online la presentación de mi Máster Tesis

Subido por Admin el 19 de Junio, 2012

Dani_vibotDay

Vea online la presentación de mi Máster Tesis sobre el "Traductor de Lenguaje de Signos utilizando Microsoft Kinect XBOX 360" que tuvo lugar el pasado 14 de Junio de 2012 en el VIBOT day. También puede acceder las publicaciones y/o descargar el código libre del proyecto.

LEER MAS

Cómo hacer funcionar Microsoft Kinect XBOX 360 desde cero

Subido por Admin el 4 de Abril, 2012

Este tutorial (también incluido en la memoria final del proyecto), intenta facilitar la instalación de Kinect en su ordenador. No fue algo fácil y por eso considero que es interesante compartir mi experiencia.

Descargar