360 Grad-3D-Videoproduktion in der Elbphilharmonie

Ein (jazz-)musikalisches Raumerlebnis

Screenshot: https://youtu.be/KIiw_8FQWis

Die Architektur der Elbphilharmonie als musikalischer Erfahrungsraum: Chefdirigent Geir Lysne platzierte Solisten der NDR-Bigband und einen 25-Mann-Chor an verschiedenen Stellen auf den Publikumsgalerien. Eine wunderbare Gelegenheit, die Möglichkeiten von 360 Grad-Video und Spatial Audio spektakulär auszunutzen.

Die Firma Syrinx Productions aus Hamburg  filmte das Konzert am 13. April 2019 in 360 Grad/3D mit zwei Insta360 Pro 2 Kameras, wobei die zweite Kamera als Backup diente. Um das Geschehen auf den Publikumsrängen für den VR-Brillen-Zuschauer dichter heran zu holen, wurden mit fünf weiteren Kameras Nahaufnahmen der Solisten gedreht, die ins 360 Grad-Video an den entsprechenden Stellen als „virtuelle Leinwände" eingeklinkt wurden.

Die Tonmischung wurde als Spatial Audio angelegt: Die Lokalisation der verschiedenen Instrumente soll hierbei für den VR-Zuschauer/-hörer im Kopfhörer stets der Position im 360 Grad-Video entsprechen, unabhängig von der jeweiligen Blickrichtung, also gewissermaßen ortsfest bleiben, wenn man den Kopf dreht. Fast alle VR-Abspielplattformen, Smartphone- und Desktop-Browser sind mittlerweile in der Lage, ein solches binaurales Signal anhand von Blickrichtungsdaten aus einem Ambisonics-Master in Echtzeit zu rendern (unrühmliche Ausnahme: der Safari-Browser).

Zur Herstellung eines solchen Audiomasters stellt Facebook ein Toolset zur Verfügung, bestehend aus diversen Plug-Ins, einem Encoder und einem Player. Allerdings sind die Anforderungen an eine Audio-Workstation ganz enorm, will man das Toolset - wie in diesem Fall - zur Abmischung einer 85-kanaligen Multitrack-Aufnahme einsetzen. Z.B. muss jede Spur, die man mit dem „Spatializer" - das ist der 360 Grad-Kugelraum-Panner mit Bildwiedergabe - räumlich anordnen will, 16-kanalig angelegt sein, auch wenn sie lediglich ein Monosignal enthält, da der Masterbus im Third-Order-Ambisonics-Format (TOA) angelegt ist.

Videoproduzent Jürgen Klimmeck erläutert: „Die Elbphilharmonie ist in Bezug auf 360 Grad Produktionen optimal, da die Bühne im Mittelpunkt des Saals angeordnet ist und das Publikum darum herum sitzt. Wir haben schon vor 20 Jahren für das hoffnungsvolle Medium DVD-A Pionierarbeit für audiovisuelle 5.1-Raum Musikdokumentationen geleistet und produzieren seit 2010 3D-Videos. Erst die Verbindung von 360 Grad VR-Video in 3D mit Spatial Audio schafft nun die perfekte Illusion, bei einem Event persönlich dabei zu sein - im wahrsten Sinn immersiv! Wenn man die Brille aufsetzt, wird man nicht vorspulen, zappen oder nebenbei bügeln wie am Handy oder Fernseher. Man lässt sich auf das Ereignis ein oder nicht - dazwischen gibt es nichts und vielleicht wird gerade diese notwendige Konzentration aufs Erlebnis unter der Brille dem Genuss, aber auch dem Respekt gegenüber der Aufführung, zukünftig ähnlich gerecht wie der Besuch eines Konzertes.“

Hier geht es zum YouTube Link von Syrinx

Der NDR veröffentlicht zwei Stücke aus diesem Programm über seine Facebook-Seite und die Website der NDR-Bigband. Eine längere Fassung mit drei Stücken und mehr von den Raumeffekten kann man auf dem Syrinx-Youtube-Kanal ansehen und -hören. Am besten ist natürlich die Wiedergabe über ein VR-Headset (über die Facebook360 App), aber der Spatial-Audio-Effekt ist auch am Handy (schwenken!) oder PC (das Bild mit der Maus drehen!) mit Kopfhörer hörbar.

www.syrinx.de