Digital image processing applied on static sign language recognition system/Diseño de un Sistema de Reconocimiento de Gestos No Móviles mediante el Procesamiento Digital de Imágenes

Authors

DOI:

https://doi.org/10.15665/rp.v16i2.1488

Keywords:

Lenguaje de Señas Colombiano, Matlab, procesamiento de imágenes, reconocimiento de gestos, reconocimiento estadístico, segmentación de imágenes, SIFT

Abstract

El lenguaje de señas es el autóctono, utilizado por las personas sordas para comunicarse. Se compone de movimientos y expresiones realizadas a través de diferentes partes del cuerpo. En Colombia, hay gran ausencia de tecnologías encaminadas al aprendizaje e interpretación de éste; por ende, es un compromiso social, llevar a cabo iniciativas que promuevan la mejora de la calidad de vida de este grupo social del país, el cual está representado por una minoría considerable. En este artículo, se muestra el proceso de diseño e implementación de un sistema de reconocimiento de gestos no móviles mediante el entorno de Matlab y el método SIFT; a través del cual se visualiza la imagen de la letra adquirida, junto con la traducción de la misma en el lenguaje de señas colombiano, aplicando identificación de puntos claves y comparación con imágenes almacenadas en base de datos. La herramienta realiza el reconocimiento de las 20 letras no móviles de este conjunto, implementando una interfaz gráfica en Matlab para una mejor visualización, fácil acceso al sistema y uso por parte del usuario. Se comprueba una mejor respuesta del sistema mediante la utilización de un elemento estandarizado de la imagen, en este caso, un guante quirúrgico, y se propone la mejora de la herramienta aplicando métodos de redes neuronales para que posteriormente pueda ser desarrollada de forma online; generando un mayor impacto para las necesidades actuales de la población colombiana.

Author Biographies

  • Betsy Villa, Robótica del Caribe, Directora General Ingeniero Mecatrónico, Universidad Autónoma del Caribe

    Ingeniero Mecatrónico graduada de la Universidad Autonóma del Caribe en el año 2015.

    Con experiencia en el area de Robótica Educativa, actual fundadora y directora general de Robótica del Caribe

  • Valeria Valencia, NTS

    Ingeniero Mecatrónico graduada de la Universidad Autonóma del Caribe en el año 2015.

    Con experiencia en el area de Mantenimiento, actualmente trabajando en este campo en NTS, Barranquilla

References

A. Karvop, I. Kipyatkova, M. Zelezny. “Automatic Technologies for Processing Spoken Sign Languages”, Procedia Computer Science, 81, 201-207, 2016.

Departamento Administrativo Nacional De Estadística, Censo General 2005: Discapacidad: personas con limitaciones permanentes, Bogotá.

H. Mejía, Lengua de Señas Colombiana: Segundo Tomo, Federación Nacional de Sordos de Colombia (FENASCOL), Santafé de Bogotá, 1996.

A. Naranjo, (2014) Aplicación de DSP´s para la Transcripción de Lenguaje de Señas a Texto. Tesis de Pregrado, Universidad Técnica Ambato.

L. Seijas, (2011) Reconocimiento de patrones utilizando técnicas estadísticas y conexionistas aplicadas a la clasificación de dígitos manuscritos. Tesis de Doctorado, Universidad de Buenos Aires.

C. Platero. "Apuntes de visión artificial." Departamento de Electrónica, Automática e Informática Industrial, Universidad Politécnica de Madrid, 2009.

D. Paredes, (2009) Seguimiento y Caracterización de Componentes del Rostro para la Detección de Expresiones Faciales. Tesis de Maestría, Centro Nacional de Investigación y Desarrollo Tecnológico.

D. Lowe (1999, Sept.). Object Recognition from Local Scale-Invariant Features. Presentado en the proceedings of the seventh IEEE international conference on. Vol. 2. IEEE [En linea]

Disponible: http://ieeexplore.ieee.org/document/790410/?reload=true&tp=&arnumber=790410

M. Brown, D. Lowe. "Invariant Features from Interest Point Groups.", BMVC, 4, University of British Columbia, 2002

D. Lowe, "Distinctive image features from scale-invariant key points.", International journal of computer vision, 60, 91-110, 2004

T. Lindeberg (2012) citing reference: "Scale invariant feature transform." Scholarpedia. Disponible desde: http://www.scholarpedia.org/article/Scale_Invariant_Feature_Transform

Y. Meng, B. Tiddeman. (2006) citing reference: "Implementing the Scale Invariant Feature Transform

(SIFT) Method." Department of Computer Science University of St. Andrews. Disponible desde: https://pdfs.semanticscholar.org/c373/01c2e0fe7ca8974c9e5e236bdb9aa19c2cda.pdf

Ansari, F. J. (2017). Hand Gesture Recognition using fusion of SIFT and HoG with SVM as a Classifier. Hand.

N. Raziq, S. Latif “Pakistan Sign Language Recognition and Translation System using Leap Motion Device”. Data Engineering and Communications Technologies, 1,895-902,2017.

D. Auquilla, K. Palacio-Baus, V. Saquicela, (2015) Reconocimiento de caracteres del alfabeto dactilológico mediante redes neuronales artificiales: Un enfoque experimental. Tesis de Doctorado, Universidad Cuenca.

C. Rodríguez, J. Pineda, D. Sánchez, (2014) Prototipo traductor de señales manuales a texto legible utilizando Kinect. Tesis de Pregrado, Fundación Universitaria de San Gil.

D. Betancur, M. Vélez, A. Peña. Traducción automática del lenguaje dactilológico de sordos y sordomudos mediante sistemas adaptativos. Revista Ingeniería Biomédica, 7 (13), 18-30, 2013

F. Priego-Pérez, (2012) Reconocimiento de Imágenes del Lenguaje de Señas Mexicano. Tesis de Maestría en Ciencias de la Computación, Instituto Politécnico Nacional, Centro de Investigación en Computación.

C. Rodríguez, E. Fabián, N. Moreno, (2011) Diseño e implementación de un sistema traductor de lenguaje de señas de manos a un lenguaje de texto mediante visión artificial en un ambiente controlado. Tesis de Pregrado, Escuela Politécnica Nacional.

Kelly, D., McDonald, J., & Markham, C. “A person independent system for recognition of hand postures used in sign language”. Pattern Recognition Letters, 31(11), 1359-1368, 2010

L. Razo-Gil, G. Salvador-Calderón, R. Barrón-Fernández, (2009) Sistema Traductor Para el Reconocimiento del Alfabeto Dactilológico. Tesis Maestría, CIC-IPN: Centro de Investigación en Computación, Laboratorio Inteligencia Artificial.

A. Andreopoulos, J. K. Tsotsos, “50 Years of object recognition: Directions forward”, Computer Vision and Image Understanding, 117(8) ,827-891, 2013

Downloads

Additional Files

Published

2018-07-24

Issue

Vol. 16 No. 2 (2018): Julio-Diciembre

Section

Articles

License

The authors to publish in this journal agree to the following conditions:

  1. The authors transfer the copyright and give the the journal first publication right of the work registered with Creative Commons Attribution License, which allows third parties to use the published work on the condition of always mentioning the authorship and first publication in this journal.
  2. The authors may perform other independent and additional contractual arrangements for the non-exclusive distribution of the version of the article published in this issue (E.g., Inclusion in an institutional repository or publication in a book), it must be indicated clearly that the work was first published in this journal.
  3. It allows and encourages the authors to publish their work online (eg institutional or personal pages) before and during the review and publication process. It can lead to productive exchanges and greater and faster dissemination of the published work (see The Effect of Open Access)

Instructions to fill out Certificate of Originality and Copyright Assignment

  1. Click here and get the forms of Certificate of Originality and Copyright Assignment  .
  2. In each field to fill out, click and complete the corresponding information.
  1. Once the fields are filled out, at the end of the form copy your scanned signature or digital signature. Please adjust the size of the signature on the form.
  2. Finally, you can save them as pdf files and send them through the OJS platform as an attachment.