Volkswagen y Microsoft se alían para utilizar realidad mixta de HoloLens 2 en los vehículos

El nuevo modo plataforma móvil de HoloLens 2 permite, por ejemplo, conducir bajo condiciones muy desfavorables o desarrollar nuevas experiencias de usuario para vehículos autónomos, gracias a hologramas que muestran información sobre el tráfico, las condiciones climáticas o recomendaciones de trayecto.

Tanto Microsoft como Volkswagen prevén que la Realidad Mixta se convierta en un elemento clave en la movilidad del futuro, a medida que se desarrollen versiones más pequeñas y compactas de las gafas.

Microsoft ha colaborado con Volkswagen, compañía líder en automoción, para utilizar HoloLens 2, su visor de realidad mixta, en los vehículos de la compañía. El objetivo es utilizar la tecnología de Microsoft para proyectar información de interés dentro de los coches: hologramas que muestren información de tráfico, condiciones climáticas o recomendaciones de trayecto mientras se conduce. Para ello, han desarrollado juntos varias capacidades para optimizar los sensores de movimiento del dispositivo.

HoloLens 2 rastrea el movimiento a través de una combinación de sensores de cámara y una unidad de medición inercial (que incluye acelerómetros y giroscopios). Pero, dentro de un automóvil, las lecturas de estos dos sensores pueden entrar en conflicto. La tecnología del dispositivo sigue el movimiento de la cabeza en relación con un escenario estático, pero, en un coche, existen elementos fijos (la estructura del propio vehículo) y otros que se mueven a su alrededor.

El nuevo modo plataforma móvil de HoloLens 2 supone una importante mejora para el dispositivo y ofrece nuevos modos de uso de la Realidad Mixta: por ejemplo, permite conducir bajo condiciones muy desfavorables o desarrollar nuevas experiencias de usuario para coches autónomos. Y, aunque por el momento Volkswagen ha estudiado esta nueva funcionalidad aplicada a la movilidad, en el futuro podría implementarse en otras industrias.

“La información que ofrece la realidad mixta es la que tiene mayor capacidad para mejorar la experiencia de usuario de nuestros clientes”, explica el Dr. Andro Kleen, jefe del equipo de Ciencia de Datos de Volkswagen Group Innovation.

Volkswagen, uno de los primeros marcas en adoptar la tecnología de realidad mixta, ya introdujo una pantalla frontal de Realidad Aumentada en su familia de vehículos eléctricos en 2020. Esta proyecta flechas de dirección, marcas de carril y otra información relevante sobre el entorno: elementos que facilitan la conducción, ya que los usuarios no tienen que apartar los ojos de la carretera para obtener la información que necesitan.

Igualmente, en 2015, Volkswagen se embarcó en un proyecto de investigación utilizando automóviles autónomos y realidad mixta para enseñar a conducir en un circuito de carreras. Se puso a prueba en el circuito de carreras de Volkswagen en Ehra-Lessien, Alemania, a través del sistema Race Trainer. Este superpone flechas en la pista a través de una pantalla frontal para que los conductores las sigan, y proporciona señales de dirección y frenado para guiarlos a través de un conjunto de lecciones graduales.

El potencial de la realidad mixta

Al comenzar estos proyectos de investigación, Volkswagen encontró algunas dificultades para implementar la realidad mixta Cuando HoloLens 2 se utilizaba en un automóvil en movimiento, sus sensores perdían el seguimiento y los hologramas que normalmente se muestran desaparecían. Fue así que, en 2018, ambas compañías comenzaron a trabajar juntas para desarrollar la función de plataforma móvil para HoloLens 2.



“Volkswagen nos presentó sus casos de uso y lo que esperaban lograr. Necesitaban trabajar con nosotros para encontrar una solución y poder utilizar HoloLens en esos escenarios”, explica Marc Pollefeys, director del Laboratorio de Realidad Mixta e IA de Microsoft en Zúrich, Suiza.

Para afrontar el reto, el equipo de Microsoft desarrolló un algoritmo que modela las discrepancias entre los sensores y permite que HoloLens continúe rastreando mientras el coche está en movimiento. Pero probar la capacidad planteó otro desafío. Dado que las restricciones de la COVID-19 en Suiza no permitían, en ese momento, probar la tecnología dentro de un coche con otra persona, se comenzó probando el prototipo en tranvías y autobuses por Zúrich, asegurándose de que los hologramas se mostraban correctamente mientras los vehículos se movían. Después se realizaron pruebas cerca del campus de Microsoft en Redmond, a través de embarcaciones recreativas y equipos de medición externos que evaluaban el rendimiento del sistema de seguimiento de HoloLens 2.

Finalmente, Microsoft puso a prueba la nueva función con Volkswagen. Los investigadores de Volkswagen establecieron una conexión de datos bidireccional entre el coche y HoloLens para mostrar y controlar información del automóvil en tiempo real. Finalmente, el equipo desarrolló varios casos de uso para investigar cómo las interfaces virtuales podrían mejorar el interior de los automóviles en el futuro.

“Implementamos un sistema de posicionamiento que rastrea la ubicación del vehículo. De esta manera, también pudimos colocar elementos 3D, como información sobre puntos de interés, fuera del automóvil. Esto ofrece nuevas posibilidades, desde mostrar hologramas dentro del campo de visión frontal del conductor, hasta dondequiera que mire el usuario que usa las gafas”, señala Michael Wittkämper, experto en Realidad Mixta de Volkswagen.

Una experiencia mejorada en diferentes sectores con Dynamics 365 Remote Assist

Microsoft presentó la función de plataforma móvil hace unos meses y ya está siendo utilizado por diferentes empresas y organizaciones. Usan HoloLens para que los trabajadores se comuniquen, de forma remota, con expertos mecánicos a través de Microsoft Dynamics 365 Remote Assist. La aplicación permite que un experto, desde otra ubicación, pueda tener ante sí el mismo campo de visión de la otra persona a través de HoloLens 2, diagnosticando posibles problemas y proporcionando la información necesaria como si estuviera in situ.

Dynamics 365 Remote Assist permite a los técnicos resolver problemas en tiempo real y en remoto. Gracias a HoloLens 2 es posible desarrollar un trabajo colaborativo que traslada virtualmente al experto al lugar donde debe desarrollarse la intervención para ver lo mismo que el técnico desplazado e interactuar con él por medio de anotaciones e indicaciones holográficas. Todo ello, con un acceso completo a esquemas, documentos técnicos y a la información necesaria para realizar el diagnóstico o la intervención en remoto. De este modo, se reducen enormemente los costes de servicio y se optimizan los tiempos de resolución de problemas.

La compañía tiene el objetivo de optimizar la función para su uso en ascensores, trenes, automóviles y otros entornos móviles. Igualmente, el equipo de realidad mixta de Microsoft prevé múltiples formas de uso de esta tecnología para conectar el interior de los coches con el mundo exterior, como ayudar a los conductores de camiones o autobuses a recorrer calles estrechas, identificar puntos de interés a lo largo de las rutas de conducción u ofrecer entretenimiento a los pasajeros.

Tanto Microsoft como Volkswagen prevén que la realidad mixta se convierta en un elemento clave en la movilidad del futuro, a medida que estén disponibles versiones más pequeñas y compactas de las gafas. “En Microsoft no solo estamos interesados en diseñar dispositivos profesionales como HoloLens, sino también, a largo plazo, nos gustaría trabajar en dispositivos que puedan ser utilizados por los usuarios en su vida diaria", finaliza Pollefeys. “Por ejemplo, poder visualizar información relevante mientras caminas, mientras te comunicas con otras personas”.