Virtuelle Realität für die Ohren

Im Gespräch mit Achim Fell, Geschäftsführer Dear Reality

Das Startup Unternehmen Dear Reality aus Düsseldorf entwickelt 3D-Audiotechnologien und Akustiksimulationen für VR & AR, 360-Grad-Film sowie Musikproduktion. Dabei liegt den Gründern die Tongestaltung bei der Produktion von audio-visuellen Medien besonders am Herzen.

Automationsdaten werden durch Gestensteuerung generiert. (Foto: Dear Reality)

Wie sind Sie zu 3D Audio gekommen?

Ich habe in Ergänzung zu meinem Nachrichtentechnik Studium ein zweijähriges Aufbaustudium im Bereich Games Design am Cologne Game Lab absolviert. In meiner Abschlussarbeit habe ich neue Formen des interaktiven Audiogames dem klassischen Hörspiel gegenüber gestellt mit der Fragestellung: Wie könnte das Hörspiel der Zukunft aussehen? Was passiert, wenn die Mechaniken des linearen Hörspiels auf interaktive Elemente treffen?  

Im Games Bereich gibt es das Genre des Audiogames, bei dem Spielmechaniken audiobasiert funktionieren und der Fokus auf dem Hören liegt. Dieses Genre hat sich aus Spielen entwickelt, die für Blinde entwickelt wurden.

Im Rahmen meiner Masterarbeit habe ich dann auch einen Prototyp für ein interaktives Hörspiel für mobile Geräte entwickelt und dafür eine geeignete 3D Audiotechnologie gesucht. Die gab es damals allerdings noch nicht. Ich bin dann aber auf ein AES Paper gestoßen, in dem ein binaurales Rendering in Echtzeit von bis zu 18 Quellen auf einem iPhone 4S beschrieben wurde. Zufällig war dieser Vortrag von meinem jetzigen Geschäftspartner und Mitgründer von Dear Reality, Christian Sandner.

Christian und ich haben dann nicht nur den Prototypen, sondern auch das nachfolgende interaktive Hörspiel „39“ für den WDR realisiert sowie unsere gemeinsame Firma Dear Reality gegründet. Bei der Produktion von „39“, das auch heute noch im App Store erhältlich ist, haben wir bereits eine erste Version unserer 3D Audio Engine verwendet – sowohl für das Radiohörspiel als auch für die Game-App.

In einigen Wochen erfolgt nun endlich der Release einer AAX/VST/AU Version für alle digitalen Audioworkstations in Zusammenarbeit mit Plugin Alliance als Vertriebspartner. 

Außerdem gibt es natürlich noch dearVR Spatial Connect, ein vollkommen neuartiges Produktionstool, dass jede DAW mit einem VR Headset und auch der Gameengine Unity verbindet. 

Achim Fell, Geschäftsführer von Dear Reality. (Foto: Dear Reality)

Was steckt hinter Spatial Connect?

dearVR Spatial Connect ist ein neuartiges Software Tool, das die lineare Audioproduktion mit der VR-Welt verbindet. Wir sind der Meinung, dass die Mischung für VR oder 360 Filme auch in einer VR Umgebung erfolgen muss. Auch ein Kinofilm wird in einem Mischatelier gemischt, damit der Tonmeister genau weiß, wie das Ergebnis im Kino klingt. Und genauso ist es bei VR auch. Ich will das Sounderlebnis beim Mischen von VR Filmen direkt hören. Vor allem wenn es um die Positionierung und die Entfernungen von 3D Audioquellen geht, muss man mittendrin sein in der VR Welt.

Mit Hilfe der Controller  eines VR Headsets - unterstützt werden sowohl Oculus Rift als auch HTC Vive - kann ich dann per Gestensteuerung Automationsdaten für die 3D Audioobjekte erstellen. Das ist ein sehr natürlicher und intuitiver Workflow. Man mischt nicht über Fader oder mit der Mouse, sondern mit seinen Händen bzw. Armbewegungen.

Die so generierten Automationsdaten werden in der DAW gespeichert und können dann aber, als weiterer Produktionsschritt, in die Game Engine Unity 1:1 übertragen werden, um dort für die interaktive Audioproduktion verwendet zu werden. Dieser Workflow ist für uns ganz entscheidend.

Wie das alles etwas konkreter aussieht, kann man auch in diesem Video sehen.

DearVR Pro Version (Foto: Dear Reality)

Ist die Game Industrie Ihre Zielgruppe?

Ja, natürlich, denn 3D Audio ist ein wichtiges Thema für interaktive Anwendungen, vor allem für Games, aber darüber hinaus auch für 360 Grad Videos, für Broadcast oder für die Telekommunikation. Und definitiv auch für Musik. Ich glaube, dass mit 3D Audio auch in der Musikproduktion eine sehr spannende Zeit auf uns zukommt. Seit Jahrzehnten ist unsere Klangästhetik auf Stereo ausgelegt, doch 3D Audio bietet künstlerisch und gestalterisch sehr viele neue Möglichkeiten. Richtig spannnend wird es zum Beispiel, wenn Musik speziell für 3D Audio komponiert und der Raum in die Komposition einbezogen wird. 

 

Wie kann das Signal beeinflusst werden?

Bei 3D Audio geht es um die Virtualisierung des natürlichen, räumlichen Hörens. Die Richtungsbezogenheit und Positionierung von Schallquellen im dreidimensionalen Raum ist dabei nur ein Aspekt. Hinzu kommt die Erzeugung von Nachhall und Erstreflexionsmuster in Echtzeit. 

In der dearVR 3D Audio Reality Engine kann ich über die so genannten „Virtual Acoustics“ Presets eine passende Akustik für meine Anwendung wählen und diese dann mittels verschiedener Parameter anpassen: so kann zum Beispiel die Größe eines Raumes verändert werden, über einen Filter kann die Klangcharakteristik angepasst und es können bis zu sechs Begrenzungsflächen eingezogen werden, um die Reflexionsmuster in Echtzeit zu berechnen, je nachdem, wo sich das Objekt im Raum befindet. Diese und viele andere Features stehen in unserer dearVR Pro Version zur Verfügung. 

Darüber hinaus wird es auch eine dearVR music Version als VST/AAX/AU Plugin geben. In dieser ist die Anzahl der Virtual Acoustic Presets  geringer und auch in den möglichen Output Formaten unterscheiden sich die beiden Versionen: in der Music Version wird nur First Order Ambisonic angeboten, um z.B. ein File für ein Youtube Video zu rendern. Higher Order Ambisonic dagegen ist nur mit der Pro Version möglich. Und auch die zukünftige Anbindung an Spatial Connect wird nur von der Pro Version unterstützt werden. 

DearVR Music Version (Foto: Dear Reality)

Wie schätzen Sie die Marktchancen für 3D Audio ein?

3D Audio hat aktuell eine hohe Relevanz bekommen, denn für die Erzeugung von virtuellen Welten in VR & AR ist es definitiv ein unverzichtbarer Bestandteil, um den notwendigen Grad an Realismus und die Akzeptanz beim User zu erreichen. VR ohne 3D Sound funktioniert nicht. Das gleiche gilt für AR, für Augmented Reality.

Ich bin mir auch sicher, dass 3D Audio nicht nur ein Thema für VR bleibt, sondern es wird die Art und Weise, wie wir zum Beispiel Musik hören und produzieren, verändern, weil es einen echten Mehrwert zu Stereo bietet.

 

Sehen Sie sich Entwickler oder als Producer?

Wir sind beides, Entwickler und Content Producer. Unser Schwerpunkt ist die Entwicklung unserer 3D Audiotechnologie, darauf haben wir uns auch im letzten Jahr stark fokussiert. Aber unser Background als Toningenieur fließt immer in unsere Entwicklungen ein. So bieten wir Softwaretools "from content creators for content creators" an. Es ist ein Unterschied, ob 3D Audio unter einem rein wissenschaftlichen Aspekt betrachtet und entwickelt wird oder ob man ein Tool entwickeln will, mit dem man kreativ arbeiten,  Klang erzeugen und beeinflussen kann. Wir wissen, welche Anforderungen ein Toningenieur an seine Tools stellt, weil wir selber hinterm Mischpult gesessen haben. Das ist unser Antrieb. 

 

Wo wird das Tool eingesetzt?

Praktische Erfahrung haben wir in Games, aber auch für VR Anwendungen und 360 Grad Filme erfolgten bereits erste Umsetzungen. So haben wir zum Beispiel die komplette 3D Audioproduktion für ein sehr innovatives 360 Grad Video der Kölner Produktionsfirma Headtrip, produziert als Show Case im Auftrag der Deutschen Telekom, umgesetzt. Dieses zeigt, was in Zukunft im Bereich mobil VR bei der Übertragung von Sportevents alles möglich ist. Durch interaktive Optionen kann man zum Beispiel in der Pause entscheiden, welches Team man in der Kabine beobachtet oder man kann Informationen über einzelne Spieler sowie die Spieleraufstellung usw. bekommen.  Und natürlich kann man über ein Shop-System ein Trikot seiner Mannschaft kaufen. 

 

Ambisonic oder Scene based Audio?

Unsere Technologie ist Objekt basiert, und wir sind auch der Überzeugung, dass object based audio die optimalen Möglichkeiten für eine 3D Audioproduktion bietet. 

Aber es gibt auch Situationen, bei denen Ambisonic eine sinnvolle Ergänzung  darstellt, zum Beispiel bei Außenaufnahmen. Wenn ein Filmtonmeister eine Atmo für die 3D Audioproduktion aufnehmen will, kann er nicht anfangen, alle Signale einzeln zu mikrofonieren. Es macht aber immer Sinn, auch bei Ambisonic Aufnahmen, zusätzlich einzelne Signale z.B. mittels unserer dearVR Software, hinzuzufügen, um eine bessere Lokalisation und räumliche Tiefe zu erzeugen.

Shure Axient Digital – die Zukunft der digitalen Drahtlostechnologie

Hardware und Skalierbarkeit

Eine Bandbreite von bis zu 184 MHz ermöglicht eine enorme Abdeckung des Spektrums. Die 2- und 4-Kanal-Empfänger, die zusammen eine Empfänger-Plattform bilden, unterstützen die AD und ADX Sender inklusive dem ADX1M Micro-Taschensender und sorgen damit für maximale Skalierbarkeit. 

Hohe HF-Performance

Axient Digital ist komplett auf größte Signalstabilität ausgelegt und wird damit allen Anforderungen großer Produktionen gerecht. True Digital Diversity mit Quadversity Empfängertechnologie minimiert die Gefahr von Signalabfällen oder Interferenzen, die zu Dropouts führen können.

Steuerungs- und Kontrollfunktionen

Axient Digital ist mit der Wireless Workbench für effiziente Konfiguration und Kontrolle kompatibel, die ShurePlus Channels App ermöglicht Spektrum-Management und Frequenz-Monitoring. Die Dante Cue und Dante Browse Funktionen erlauben das Abhören jedes Dante-Gerätes im Netzwerk.