El juego Pokémon Go hace uso de la realidad aumentada combinando objetos virtuales —los personajes, pokémones y objetos del juego— sobre una imagen de vídeo del mundo real en el que aparecen.
En la realidad virtual común los objetos virtuales y los objetos reales no interactúan entre sí, únicamente se superponen. Esto es precisamente lo que quieren cambiar investigadores del MIT con el desarrollo de la realidad aumentada interactiva o vídeo dinámico interactivo.
El el vídeo dinámico interactivo ofrece la posibilidad de manipular objetos capturados en imágenes estáticas o grabadas en vídeo como si fueran objetos físicos, reaccionando cuando se tocan, empujan, estiran o golpean.
Una forma de hacer esto es sustituir objetos reales por objetos tridimensionales que se pueden manipular sobre la marcha, pero esto es algo que no es posible en la mayoría de las situaciones ni cuando se graba vídeo convencional.
La otra opción es recurrir al ingenioso método ideado por Abe Davis en su tesis doctoral para el MIT que desarrolla junto a un grupo de colaboradores, una técnica de imagen que permite «tocar» los objetos grabados en vídeos — sin necesidad de que sean modelos tridimensionales.
El vídeo dinámico interactivo o IDV se sirve de cámaras de vídeo normales, incluyendo la de los teléfonos móviles, para registrar las minúsculas vibraciones, en ocasiones casi imperceptibles, de los objetos grabados. El algoritmo informático utiliza es información para «entender» cómo es la dinámica de un objetos, como por ejemplo qué partes se mueven con más facilidad, de qué manera, en qué dirección o cuál es su flexibilidad.
Para conseguir ese tipo de información el equipó sometió varios objetos a distintos grados de vibración, para así registrar cuáles era los movimientos naturales de los objetos; es decir de qué manera responden cuando se someten fuerzas físicas. El algoritmo utilizará después esa información para manipular la imagen de vídeo cuando el objeto grabado se estire o cuando se golpee con el puntero del ratón. O cuando Pikachu salte sobre él.
