Si eres fan de las aplicaciones de realidad virtual, seguro te has preguntado cómo integran el audio dentro de las mismas. Incluso si trabajas en la industria de la tecnología de audio, a menudo escucharás, «¿quieres decir audio 3D?» O «¿cómo es diferente de la tecnología de audio 3D existente?». Si el audio en realidad virtual se define como la creación y entrega de señales de audio que son adecuadas para el contenido VR, el término audio 3D no refleja completamente las capacidades del audio en un entorno virtual.
Audio 3D en Realidad Virtual
Tener la información del eje x, y y z es lo que hace que el sonido sea tridimensional. El ‘sonido envolvente’ tradicional o ‘audio 3D’ carece de la información de altura. Los sistemas de 5.1 canales, por ejemplo, son de audio 2D con altavoces situados a la altura de las orejas humanas, que cubre el frente, la espalda, la izquierda y la derecha.
El verdadero audio 3D se hizo posible en VR con la adopción de la tecnología de renderización binaural. La cual reproduce lo que oímos en el mundo real mediante la transformación de señales tridimensionales de audio en salidas estéreo. Permitiendole al usuario escuchar verdaderos sonidos 3D, incluso a través de auriculares regulares. El audio en VR puede sumergir a los usuarios en la escena más que nunca debido a un factor importante – la interacción del usuario.
Anteriormente, cuando no había interacción del usuario dentro de la historia, el video y el audio eran pre-renderizados durante la producción junto a una pantalla plana fija y unas bocinas fijas. Este contenido 2D se reproducía junto al usuario final. Por otro lado, el punto de vista del usuario y la interacción cambian constantemente en realidad virtual, por lo que todo tiene que ser configurado junto al usuario final. El sonido no puede ser pre-renderizado porque tiene que cambiar de acuerdo con el punto de vista del jugador o movimiento en tiempo real. Realizar renderización binaural en tiempo real en el dispositivo móvil del usuario no es una tarea fácil.
La representación binaural por naturaleza requiere un alto poder computacional para calcular cómo viaja el sonido viaja desde la posición de la fuente hasta los oídos de un oyente; usando funciones complejas. La mayor parte del ancho de banda móvil se utiliza para procesar video. Esta es la razón por la cual la tecnología de renderización binaural efectiva y de alta calidad que alivia la carga del dispositivo móvil es clave en la industria de audio VR.
Dónde está la industria del audio en realidad virtual
La inmersión abrumadora es lo que completa la experiencia de «estar allí» en los mundos de realidad virtual. Con el fin de mejorar la inmersión de audio, se hicieron esfuerzos para aumentar la resolución de la señal de audio tanto en el «tiempo» y el dominio «espacial». Dado que la resolución en el dominio del tiempo (frecuencia) ya ha superado el nivel que los humanos pueden reconocer físicamente, el dominio espacial es donde se necesitan desarrollos adicionales.
En videos 360 o contenido de tipo 3DOF, el mundo ya está pre-renderizado. El espacio tridimensional se proyecta en un mundo esférico, mismo que puedes mirar desde diferentes direcciones, pero no puede caminar dentro de éste. Esta es la razón por la que una señal de audio Ambisonics, una manera de grabar y reproducir sonido 3D como una instantánea, se convirtió en un formato de audio popular para 360 videos. Al igual que el video 360, este formato de audio esférico se puede girar fácilmente para reflejar la inclinación de la orientación de la cabeza y otros movimientos de cámara. Sin embargo, el formato Ambisonics está limitado a los contenidos en 360, donde el usuario final está fijo en una posición.
Mientras más y más contenido de VR se está produciendo en formato VR completo, la industria del audio apenas se está poniendo al día con las señales de Ambisonics para videos 360. Ya que el formato Ambisonics de segundo orden, ya requiere un mínimo de 9 canales; y el formato Ambisonics de mayor orden no es factible en muchos casos debido al ancho de banda de los dispositivos móviles.
Fuente: uploadvr.com
