Los sistemas de Realidad Virtual (VR), Realidad Aumentada (AR) y Realidad Mezclada (MR) le presentan a los usuarios simulaciones realistas. La aplicación más usual es la de Juegos, pero, ¿Sabía que la VR/AR/MR pueden crear también instrumentos musicales virtuales (VMIs)?

Los VMIs pueden o no imitar a los instrumentos físicos tradicionales. Los instrumentos físicos pueden producir música bella pero también pueden ser difíciles de aprender y quedan atados a restricciones físicas y acústicas. Al remover muchas de tales restricciones, los diseñadores de los VMI se pueden enfocar en nuevos desafíos, tales como:

• Hacer que el instrumento sea simple de aprender,
• Adaptarse a diferentes interpretaciones
• Producir sonidos electrónicos nuevos
• Que operen en la fase de composición en lugar de solo a nivel de las notas,
• Soportar interpretaciones con inteligencia musical, y
• Permitir la colaboración entre interpretes múltiples

La edición de Septiembre 2017 de Computing Now presenta artículos y un video de las interfaces de usuario VMI 3D, su diseño e implementación. Aunque algunos VMIs están aún en su etapa de diseño preliminar, estos instrumentos muestran gran potencial en las áreas de juegos musicales, educación musical e interpretación musical en vivo.

Desafíos Técnicos de los VMI

Aun cuando un VMI imita a un instrumento tradicional, los usuarios no siempre pueden tocarlos en la misma forma. Los desafíos técnicos incluyen:

• Seguimiento preciso de los dedos y mapeo de las posiciones tonales. La mayoría de los VMIs solo utilizan los gestos de los manos. Aunque los sensores avanzados pueden seguir los dedos, el seguimiento de dedos múltiples en un espacio 3D es aun dificultoso. Adicionalmente, la capacidad de los sensores limitan la cantidad de posiciones tonales (por ejemplo, es difícil de representar las claves de un piano).
• Niveles de Disparo y estrategias gestuales. La mayoría de los instrumentos musicales poseen mecanismos tanto para disparar las notas y para controlarlas continuamente. Aun con un mecanismo de seguimiento de dedos 3D razonable, ofrecer un control eficaz sobre múltiples parámetros en tiempo real es dificultoso.
• Configuración de los dispositivos de hardware. El posicionamiento y los comandos de los sensores de video necesitan evitar la obstrucción de los dedos para alcanzar un seguimiento preciso y realizar el disparo de las notas. Algunas veces se necesitan cámaras múltiples (por ejemplo, para el seguimiento de las manos izquierda y derecha de una violinista se requerirán dos cámaras).
• Realimentación táctil. La mayoría de los músicos se apoya en la realimentación forzada en un instrumento musical físico en particular para controlar las expresiones musicales, tales como el volumen y el vibrato La realimentación forzada es dificultosa de implementar en los VMIs. Aunque la realimentación por audio es de gran ayuda, las interfaces sin algún tipo de realimentación táctil pueden resultar difíciles de utilizar.
• Selección de Recursos Sonoros. La mayoría de los VMIs utilizan la Interface de Instrumentos Musicales Digitales, MIDI, con librerías sonoras comerciales. Esto ofrece sonidos con control y rango limitado. Sin embargo, es posible desarrollar algoritmos de síntesis de sonido que ofrecen un mejor control.

Sin duda alguna, avances tecnológicos futuros resolverán muchos de estos desafíos.

Los Artículos

El artículo de Florent Berthaut, Victor Zappi y Dario Mazzanti, “Escenografía de los Instrumentos Musicales Virtuales Inmersos” analiza varias configuraciones de escenarios para los VMIs inmersos, basado en seis factores: Visibilidad de la Audiencia, Visibilidad Musical, Inmersión de la Audiencia, Inmersión Musical, Continuidad Gestual y Mezclado entre lo Virtual y los Físico. Los autores sugieren que la presentación y el contexto son importantes para la aplicación y apreciación de los VMI.

El artículo “ChromaChord: Un Instrumento Musical Virtual” se presenta a ChormaChord, el cual utiliza un casco VR (el Oculus Rift DK2) y un seguimiento de manos por medio de cámara (con un controlador Leap Motion). Sensores adicionales detectar el movimiento del casco para realizar el alineamiento de la posición de los marcadores en forma precisa y ajustar el afinado del instrumento. El autor John Fillwalk ilustra el valor de considerar las capacidades y limitaciones del sensor y el display cuando se diseña los VMIs.

En el artículo “Interpretes de Intervalo: Diseñando un Instrumento Musical Virtual utilizando Gestos en el aire”, Wallace Lages y sus colegas describen otro VMI que utiliza LEap Motion, pero toma un enfoque diferente para disparar las notas melódicas. En su VMI los gestos de las manos controlan el intervalo de cambio su dirección y su velocidad, con los intervalos representando las distancias entre dos notas y los intervalos largos representando las de cinco notas. La mano no dominante puede interpretar con armonía

Marcio Cabral y sus colegas presentan su VMI en el artículo “Crosscale: Una Interface de Instrumentos Musicales Virtuales 3D”. Esferas virtuales tocables mapean las notas y acordes, y las alturas aparecen en una grilla 2D, trayectorias simples en una grilla de alturas pueden producir patrones musicales con mayor rapidez que en una disposición de teclado 1D. El sistema utiliza Oculus Rift para visualización y Razer Hydra para el ingreso de los gestos.

En el artículo “Circo de Bouteilles: El Arte de Soplar Botellas” Daniel Zielasko y sus colegas describen una interface 3D en la cual los usuarios soplan aire dentro de botellas virtuales utilizando un micrófono, un flujo de aire virtual indica la fuerza de soplado. Los usuarios seleccionan las botellas con un Controlador Leap Motion y un Oculus Rift DK2 visualiza un modelo de mano que mapea los gestos del usuario.

Alec G Moore y sus colegas resaltan su sistema de composición de música inmersiva en el artículo “Wedge: Una Interface Musical para Construir e Interpretar Composiciones Apropiadas para Ambientes Inmersivos” Los usuarios arrastran las teclas de las notas a las posiciones deseadas, y las apilan verticalmente para crear acordes. Esta estructura les ayuda a los usuarios a enfocarse en las secuencias de composición y los acordes en lugar de en las notas individuales.

Nikolas Burks, Lloyd Smith y Jamil Saquer desarrollan un xilófono de bajo virtual utilizando un micrófono con sensor cinético. En el artículo “Un Xilófono Virtual para la Educación Musical” se detalla como el VMI realiza el seguimiento físico de los martillos en un espacio 3D y utiliza las posiciones relativas de las barras de extensión de los usuarios para disparar las notas correspondientes.
Comprender las asociaciones entre los sonidos y las imágenes es importante para mejorar los VMIS.

En el artículo de Rob Hamilton “Coherencia Perceptual como una Analítica para el Mapeo Procedural de Música y Audio en un Espacio Virtual” analiza como los oyentes forman asociaciones entre avatares animados y sonoros al variar la relación entre las propiedades de movimientos del avatar y las propiedades inherentes de sintetizacion del sonido.