Abhishek Singh muestra en este vídeo cómo ha enseñado a Alexa a entender el lenguaje de signos. O, más bien, cómo ha creado un sistema de aprendizaje automático capaz de interpretar lenguaje de signos con TensorFlow.js usando la webcam de un MacBook Pro. Los textos simplemente se envían a Alexa para que a su vez conteste con texto + voz.
En la demostración Singh hace las preguntas típicas del tipo «¿Qué tiempo hace?» «¿Cuánto son 5 pies en centímetros?», «¿Qué hora es?» o «Añade huevos a la lista de la compra» – y todas ellas se interpretan diligentemente para que Alexa las conteste. Naturalmente, quien no pueda hablar de viva voz a Alexa pero sí usar lenguaje de signos probablemente podrá teclear las mismas preguntas… pero no deja de ser interesante que sea relativamente fácil hacerlo de forma más natural. Además, puede haber situaciones en las que sea fácil gesticular pero no tanto teclear con precisión.
No hay de momento un enlace directo al código, pero seguramente aparecerá en su Github. Abhishek es conocido por haber creado un montón de «ocurrencias» similares, como el el famoso Super Mario en Realidad Aumentada, que junto con sus otros trabajos están recopilados en su página (shek.it).
Relacionado:
