MIRI: Mano InfraRoja Interactiva. Aplicación alternativa al uso del mouse.
Mauricio Arias1
1Ingeniero Físico, Universidad Tecnológica de Pereira, Risaralda, Colombia
miriltda(a)gmail.com
Abstract: MIRI is a technological development that allows to replace the functions of a conventional mouse (left click, left click sustained, scroll up / down) by using reflective tape in two fingers and a camera implemented to function in the near infrared spectrum. Taking advantage of the infrared light reflection on the surface of the fingers, are captured images, applying different techniques of image processing. It is extracted a single point on the screen for each finger, the movement of that point and the appearance of a posterior, allows the cursor management and the different functions of the mouse.
Resumen: MIRI, por sus siglas en español Mano Infra-Roja Interactiva es un desarrollo tecnológico que permite reemplazar las funciones de un mouse convencional (clic izquierdo, clic izquierdo sostenido, scroll up/dwon) mediante el uso de cinta reflectiva en dos dedos y una cámara implementada para funcionar en el espectro del infrarrojo cercano. Aprovechando la reflexión de luz infrarroja sobre la superficie de los dedos, se captan imágenes en las cuales, aplicando diferentes técnicas de procesamiento de imágenes, se logra extraer un solo punto en pantalla por cada dedo; al movimiento de ese punto y la aparición de uno posterior se le entrega el manejo del cursor y las diferentes funciones del mouse. La aplicación se realizo en lenguaje libre bajo la plataforma Visual C++ y la cámara infra-roja fue adecuada electrónicamente en Tecnoparque nodo Pereira.
Palabras claves— Infra-Roja, cámara, reflexión, procesamiento.
I. INTRODUCCIÓN
El teclado y el mouse, los dispositivos de entrada más comunes de los computadores convencionales, es decir, los que la mayoría usamos en nuestros hogares y sitios de trabajo; no han sufrido mayores modificaciones desde su creación, hace unos 35 a 40 años. La mayoría del hardware de los computadores ha evolucionado sustancialmente, sin embargo la forma en que interactuamos con ellos, ha permanecido casi estática. Debido a las ventajas que ofrecen los avances tecnológicos; como la posibilidad de tener una cámara en nuestro computador, por un bajo precio, se ha visto favorecido el desarrollo de diferentes áreas de investigación, como lo son el procesamiento de imágenes y la interacción hombre maquina (Human Computer Interaction HCI), que permiten generar nuevos modelos de interactividad con los computadores y el hardware en general; estos modelos, no solo hacen la interacción mas natural y divertida para los usuarios comunes, sino que además facilita la interacción a personas con impedimentos físicos, como por ejemplo, aquellas que han perdido sus manos o no las pueden mover, ya que pueden sustituir las funciones del mouse físico con los movimientos de su cabeza.
Desde hace ya varios años han surgido algunas propuestas para cambiar la forma de interactuar con el computador: lápiz óptico, pantalla táctil, entre otras. Propuestas que han tenido gran acogida entre la comunidad en general, sin embargo, sus costos evitan que sean equipos ampliamente utilizados. También se han propuesto sistemas en los que usando luz visible y un cámara convencional se logra detectar la ubicación de las manos (Zhao, Tan, Wu, Liu, & Wen, 2009), (Wu & Huang, 2001) e interpretar sus movimientos para manipular el puntero del mouse, aunque se han logrado buenos resultados, estas aproximaciones requieren condiciones de iluminación o de fondo especificas y un alto gasto de recursos del computador debido al procesamiento de imágenes que involucran. Luego, es conveniente buscar alternativas que permitan diseñar sistemas más robustos en relación a los cambios de iluminación y que requieran menor cantidad de recursos del computador.
En respuesta a estas necesidades, proponemos desarrollar un sistema de detección de las manos, usando luz infrarroja (ir). En nuestros ambientes cotidianos, es inusual encontrar fuentes de luz infrarroja, a excepción, de fuentes como el Sol o algunos bombillos incandescentes comunes, que emiten luz ir, pero con bajas intensidades. Si tenemos una cámara que solo es sensible a la luz infrarroja y la ponemos en funcionamiento en alguno de dichos ambientes, obtendremos imágenes en las que solo apreciamos un fondo negro, a excepción, de cierto ruido, que se ve como puntos o manchas blancas, generado por las fuentes de luz ir mencionadas; ruido que es de muy baja potencia y se puede eliminar fácilmente con algunos filtros digitales. Implementamos un sistema que permite detectar los movimientos de la mano, en particular dos dedos, e interpretar sus desplazamientos para simular el uso del mouse convencional; usando una cámara sensible solo a la luz infrarroja (ir), una fuente de luz infrarroja (leds) y cinta reflectiva en los dedos. Una configuración de este tipo, permite controlar la iluminación sin afectar el entorno y disminuye la cantidad de procesamiento requerido, mejorando el tiempo de respuesta del sistema. A continuación se presenta en la sección II la metodología utilizada para desarrollar el sistema, que incluye el ajuste de una cámara web para hacerla sensible a la luz infrarroja, la construcción de la iluminación y el desarrollo del software; en la sección III se muestran algunos de los resultados obtenidos y las conclusiones se presentan en la sección IV.
II. METODOLOGÍA
Análisis y requerimientos
La metodología se presenta en tres pasos: primero, cámara IR, fuente de iluminación y cinta reflectiva; segundo, descripción del procesamiento de imágenes empleado, y tercero, desarrollo del software.
Camara IR, fuente de iluminación y cinta reflectiva
Para la implementación de la cámara se uso un sensor CMOS sensible a la luz visible e infrarroja, al cual agregamos un filtro que bloquea la luz visible, haciendo que la cámara sea sensible únicamente a la luz ir hasta donde el sensor de la cámara lo permite, es decir, hasta una longitud de onda aproximada de 1000nm.
Una vez ajustada la cámara, se usaron 30 leds infrarrojos para construir un sistema de iluminación alrededor de la cámara, los leds son alimentados con una fuente de 5 voltios DC; Una vez encendidos, todo objeto que este ubicado delante de la cámara refleja luz ir con diferentes intensidades, dependiendo de dos factores: la separación entre el objeto y la cámara, y, el índice de reflectividad del material del cual está constituido dicho objeto. Usando SOLID Works se diseño la carcasa de la cámara, con el acompañamiento de los Asesores Andrés Felipe Díaz Arias y Alejandra Valencia Cifuentes, asesores de la línea de ingeniería de Tecnoparque nodo Pereira, el proceso de diseño se puede apreciar en la figura 1:
Figura 1
Figura 2
Figura 3
Figura 1-2-3. Proceso de Diseño y Desarrollo de la carcasa realizado en SOLID Works.
Cronograma de Trabajo
Procesamiento de imágenes
Usando la cámara con su fuente de iluminación ir, obtenemos imágenes en las cuales los objetos más notorios son los que están más cerca de la cámara y los que poseen un mayor índice de reflexión de luz ir. En general, solo objetos cercanos a la cámara, entre 2,5 y 3 metros o menos; son apreciables por la cámara, figura 2. Para aumentar la notoriedad de los dedos de las manos en las imágenes, hemos puesto un par de anillos de cinta reflectiva en los dedos índices de ambas manos, aumentado la cantidad de luz ir reflejada, esto facilito el procesamiento de las imágenes, ya que hemos evitando el fondo que se vería usando luz visible, y hemos logrado resaltar las zonas que nos interesan.
Figura, 5. Imagen con la cámara modificada.
Las imágenes son procesadas en las siguientes etapas: binarización, erosión, dilación, y segmentación. Para la binarización se encuentra un umbral optimo usando el método de Otsu, el cual esta descrito en (Otsu, 1979); esto nos permite obtener imágenes binarias en las cuales se aprecian las zonas mas brillantes de la imagen original, entre las cuales, se encuentran los dedos indices. Debido al ruido del ambiente, ocasionado por las fuentes de luz ir mencionadas anteriormente, se presenta en las imágenes binarias ruido en forma de puntos o manchas; esta información no deseada es eliminada usando en conjunto las operaciones de erosión y dilación; ambas operaciones usan un nucleo que se desplaza por toda la imagen pixel a pixel, la erosión elimina todos aquellos pixeles cuya intensidad no coincide con la del nucleo, y la dilación resalta todos aquellos pixeles en los cuales al menos un pixel del nucleo coincide con un pixel de la imagen (Gonzalez & Woods, 2002). En este punto, hemos eliminado gran parte del ruido presente en la imagen bianaria, pero generalmente no todo. A continuación se aplica un algoritmo de segmentación expuesto en (Haralick & Shapiro, 1992), este procedimiento permite enumerar las diferentes zonas presentes en la imagen, las cuales corresponden a la cinta en los dedos y a posibles ruidos que aun no hayan sido eliminados. Una vez ubicadas las zonas se identifican dos propiedades para cada una de ellas: su area y la ubicación de su centroide; con estos datos se procede a descartar las zonas que no cumplan con un determinado umbral de area, el cual se ajusta según el tamaño de la cinta reflectiva en los dedos. En este punto ya hemos identificado la ubicación de las puntas de los dedos en la imagen, en la figura 3 se puede apreciar el proceso descrito.
Ahora se usan las coordenadas de los puntos ubicados, maximo dos, para posicionar el puntero del mouse y simular diferentes clics. Si se tiene solo un punto, este se usa como coordenada para ubicar el mouse; si aparecen dos puntos, se interpretan como un clic izquierdo sostenido, y se pude mantener el clic, siempre que se mantenga la distancia entre los dedos, si la distancia se disminuye se interpreta como un scroll down y por el contrario, si aumenta la distancia se interpreta como un scroll up. Se puede ver un video del proyecto en funcionamiento, en la dirección: http://www.youtube.com/watch?v=vUaKCLiG-Rk.
Desarrollo del Software
El software ha sido implementado usando el lenguaje de programación C++, usando la plataforma de trabajo Microsoft Visual C++, disponible en la dirección: http://www.microsoft.com/express/Downloads/#2010-Visual-CPP. Se tienen funciones para las diferentes etapas de procesamiento y el control de la camara.
III. RESULTADOS
Con el sistema desarrollado es posible interactuar en tiempo real con el computador, simulando las diferentes acciones del mouse convencional. Nuestro sistema fue probado en público en el pasado EXPOSENA 2010, allí obtuvimos una gran respuesta de los usuarios, algunos tenían dificultades inicialmente otros se ajustaban inmediatamente al uso del equipo; en general todos pudieron controlar el computador usando el dispositivo, contamos con usuarios de todas las edades, desde niños hasta adultos mayores. El sistema permite navegar por toda la pantalla, sin embargo, debido a la no uniformidad de la luz reflejada por las manos de los usuarios, es difícil ubicar de forma precisa el puntero del mouse, por lo cual se dificulta hacer clic en áreas muy pequeñas, o realizar trazos finos mientras se dibuja. Aunque fue posible probar un juego de tiro en flash, llamado SniperDuty, obteniendo buenas puntuaciones. En general el sistema ha respondido adecuadamente, y puede ser usado como alternativa al mouse en aplicaciones que no requieran una alta precisión.
Figura 6. a. Imagen obtenida por la cámara
Figura 7. b. Imagen procesada en el computador
IV. CONCLUSIONES
Se logro desarrollar un sistema basado en el uso de luz infrarroja para simular el funcionamiento del mouse, incluido su desplazamiento, el clic izquierdo y la función scroll down/up. El sistema funciona en tiempo real, haciendo que su uso sea natural y divertido, sin embargo la precisión aun debe ser mejorada, debido a que la irregularidad en la luz reflejada por las manos del usuario genera inestabilidad en la posición del puntero.
Se continuara investigando para mejorar la precisión del equipo y eliminar el uso de cinta reflectiva, de tal forma que cualquier persona con las manos desnudas pueda manipular el computador. También se investigaran nuevas aplicaciones en el área de realidad aumentada y el estudio del desempeño de deportistas usando marcas reflectivas en diferentes partes del cuerpo
REFERENCIAS
Gonzalez, R. C., & Woods, R. E. (2002). Digital Image Processing Using Matlab, 2nd Ed. Prentice Hall.
Otsu, N. (1979). A Threshold Selection Method from Gray-Level. IEEE Transactions on Systems, Man, and Cybernetics , 9 (1), 62-66.
Wu, Y., & Huang, T. (2001). Hand modeling, analysis and recognition. Signal Processing Magazine, IEEE , 18 (3), 51-60.
Zhao, S., Tan, W., Wu, C., Liu, C., & Wen, S. (2009). A novel interactive method of virtual reality system based on hand gesture recognition. Control and Decision Conference, CCDC '09 , 17-19, 5879-5882.
