Immersion neu definieren: wie Signal Space Lab Human Within geschaffen hat
Bekannt dafür, Live-Action-Filmemachen mit modernem interaktivem Design zu verbinden, hat sich Signal Space Lab einen Namen gemacht, indem sie VR-Erlebnisse geschaffen haben, die traditionelle Erzählungen herausfordern. Mit ihrem aktuellen Projekt Human Within, wollte das Studio mehr als nur ein Spiel schaffen, durch ein immersives Erlebnis, das ethische Dilemmata, technologische Evolution und die verschwommenen Grenzen zwischen Realität und Simulation erkundet.
Nach dem kürzlichen Start des Spiels auf SteamVR sprachen wir mit dem Kreativdirektor Avi Winkler und der Filmregisseurin Anne Weigel über die Herausforderungen, Film und Gameplay zu verbinden, die technischen Innovationen hinter Human Within und wie ihr Spiel die Grenzen des narrativen Gameplays erweitert.
Um die Sache zu beginnen, können Sie uns eine Einführung in Signal Space und seine Kernmission geben?
Avi: Signal Space Lab ist ein interaktives Kreativstudio, das sich auf Videospiele, immersive XR-Unterhaltung und Audio-Produktion spezialisiert hat. Begonnen als Audiohaus im Jahr 2015, hat das Studio eine interaktive Einheit gegründet, um kommerzielle XR-Inhalte zu entwickeln, und hat an großen Titeln wie der Sid Meier’s Civilization-Reihe und Universals Jurassic World gearbeitet.
Signal Space hat auch wertvolle Erfahrungen mit Indie-Entwicklern gesammelt und unsere Position als innovatives XR-Studio mit Projekten wie We Happy Few: Uncle Jack Live VR, My Paper World und dem preisgekrönten Afterlife. Mit unserem bevorstehenden Early-Access-Release von Every Day We Fight wollen wir rundenbasierte Taktiken neu definieren, während Human Within Live-Action und 3D-Gaming verbindet.
Was inspirierte das Konzept hinter Human Within?
Avi: Unser Ziel war es, eine einzigartige Geschichte über Technologie zu erzählen, indem wir Technologie nutzen. VR taucht die Spieler in die Geschichte als aktive Teilnehmer auf eine Weise ein, die sonst nicht möglich ist. Inspiriert von Filmen wie Lawnmower Man und Transcendence wollten wir ethische Bedenken rund um die rasanten technologischen Fortschritte erkunden, zu einer Zeit, in der neue Technologien mit jedem Jahr exponentiell entwickelt werden. Wir haben jedoch auch darauf geachtet, dass die Geschichte sich nicht ausschließlich auf die Risiken konzentriert, da [diese] Fortschritte auch ihre Vorteile haben.
Human Within befindet sich an einem einzigartigen Schnittpunkt zwischen Film und Videospielen. Wie haben Sie die strukturierte Erzählweise des Films mit der spielergetriebenen Interaktivität der Spiele in Einklang gebracht?
Avi: Live-Action-Inhalte verankern das Erlebnis in der Realität auf eine Weise, die polygonale Charaktere noch nicht erreichen können. Wir haben Human Within als Live-Action-Film mit Gameplay-Interaktionen gestaltet, die den Spieler in die Geschichte einbetten und es ihm ermöglichen, mit den Szenen und dem Ablauf der Ereignisse zu interagieren, während wir sicherstellten, dass der interaktive Aspekt für Gelegenheitsspieler nicht überwältigend war. Das Management des Tempos war entscheidend, da zu viele Interaktionspunkte die Energie und das Tempo einer Szene beeinflussen können.
Anne: Das Skript für Human Within war sehr detailliert, aber bei der Vorbereitung der Live-Action-Segmente stießen wir natürlich auf Hürden und Einschränkungen, um die Szenen zum Leben zu erwecken. Glücklicherweise erlaubte uns unser interdisziplinäres Team – das Fachwissen in Film und Spielentwicklung kombiniert – uns, uns an Skriptänderungen anzupassen und kreative Lösungen zu finden.
Welche Herausforderungen gab es bei der Regie von FMV (Full-Motion-Video)-Darstellungen in einem nicht-linearen interaktiven Format?
Anne: Das Skript war riesig aufgrund der vielen verzweigten Momente. Die größte Herausforderung bestand darin, sicherzustellen, dass wir uns nicht in der Komplexität der Geschichte verloren, während wir sicherstellten, dass die Schauspielerei konsistent blieb, egal welche Entscheidung der Spieler traf. Darüber hinaus mussten wir ständig die interaktiven Elemente im Hinterkopf behalten – insbesondere für unsere Hauptfigur Nyla, die lange Zeit allein im Labor verbringt und auf die Interaktionen des Spielers reagiert. Das Filmen dieser Szenen fühlte sich manchmal ziemlich abstrakt an, aber zu sehen, wie alles am Ende zusammenkam, war eine erstaunliche Erfahrung.
Wie unterschied sich der Schreibprozess von traditionellen Film- oder Spielskripten?
Avi: Ob beim Erstellen einer Geschichte für einen linearen Film oder interaktive Videospiele, es ist eine Menge Planung erforderlich, bevor das Schreiben beginnt. Die Geschichte und die Charakterbögen müssen in Zusammenfassungsform ausgearbeitet werden. Für interaktives Geschichtenerzählen wird es viel komplizierter, wenn verzweigte Entscheidungen in die Mischung einfließen. Die Ergebnisse der Entscheidungen müssen berücksichtigt werden, was zu mehreren Enden führt - andernfalls sind die Entscheidungen bedeutungslos.
Das Skript für Mensch innerhalb ist größer als das einer linearen Produktion und folgt einem Wähle-dein-eigenes-Abenteuer-Format. Es beschreibt verschiedene Enden, Variationen basierend auf Entscheidungen und jede Szene im Detail. Der Drehplan war eng, was keinen Raum für Nachdrehs ließ, sodass jedes letzte Detail in der Skripterstellungsphase berücksichtigt werden musste.
Was waren die größten technischen Hürden bei der Kombination von 360°-Video, interaktiven Punktwolken und Rätseln in einer VR-Umgebung?
Avi: Die vollständigen 360Erinnerungs-Rückblenden machen einen großen Teil von Mensch innerhalb aus und tauchen die Spieler in Szenen ein, in denen es überall um sie herum etwas zu sehen gibt. Es war wichtig, diesen Aspekt auch in den Internetraum des Spiels zu übertragen. Anstelle eines großen Panels, das gegenwärtige Ereignisse zeigt, zeigen mehrere Panels verschiedene Perspektiven von realen Ereignissen.
Um Gelegenheitsspieler nicht zu überfordern, erfordern 360und Internetraumszenen nicht, dass man mehr als 90 Grad auf jeder Seite schaut. Ursprünglich waren die Panels rundherum positioniert, was sich jedoch als unangenehm erwies, sodass der Inhalt auf die nach vorne gerichtete Hemisphäre beschränkt wurde.
Eine wichtige Herausforderung war, dass vollständige 360Szenen keine sechs Freiheitsgrade unterstützen. Um dem Rechnung zu tragen, wurden Internetraum- und Punktwolken-Szenen so gestaltet, dass die Spieler sich physisch nicht bewegen müssen.
Einige Bewertungen erwähnen, dass es schwierig ist zu erkennen, wo CGI endet und Live-Action beginnt. Können Sie Einblicke geben, wie Sie dieses Niveau der visuellen Integration erreicht haben?
Avi: Konsistenz war uns bei der Erstellung von Human Within sehr wichtig. Bei der Schaffung einer langfristigen narrativen Erfahrung wollten wir sicherstellen, dass unsere Szenen nach einer Weile nicht langweilig werden, was bedeutete, eine Vielzahl von Szenentypen zu erstellen, um die Erfahrung für die Spieler frisch zu halten. Mit dem Wechsel der Umgebungen und visuellen Elemente war es wichtig, dass die Szenen eine konsistente Linie hatten, wenn man von einem Typ zum anderen und zurück wechselte - während gleichzeitig die Immersion in einem digitalen Raum aufrechterhalten wurde.
Die Verwendung von Live-Action-Inhalten spielt eine große Rolle dabei, die visuelle Konsistenz von den 360-Erinnerungen zu den Internetraum-Szenen zu bringen. Der virtuelle digitale Raum, in dem Sie sich befinden, wurde so gestaltet, dass er visuell beeindruckend und immersiv ist, ohne den Spieler von den Inhalten abzulenken, die auf den vielen präsentierten Panels stattfinden. Für die Punktwolken-Sequenzen war es uns extrem wichtig, die Live-Action-Standorte und Charaktere mit einer einzigartigen visuellen Behandlung nachzubilden, die den Eindruck vermittelte, sich in einer Computersimulation zu befinden - während sie gleichzeitig ausreichend erkennbar waren, um vertraut, glaubwürdig und nicht desorientierend zu sein. Jede der Punktwolken-Umgebungen wird in Live-Action-Form präsentiert, bevor sie in eine digitale Nachbildung transportiert wird. Obwohl der visuelle Stil unterschiedlich ist, hat Ihr geistiges Auge bereits einen Eindruck von dem Standort.
Anne: Für den Live-Action-Teil wurde alles auf echten Sets mit echten Requisiten gedreht. Selbst die Bildschirme im Labor zeigten die Animationen so weit wie möglich in Echtzeit an. Wir hatten eine großartige Kunstabteilung, um dies zum Leben zu erwecken. Neben einigen kleineren Nachbearbeitungen, wie dem Entfernen sichtbarer Kameras am Set, haben die Szenen keine größeren Änderungen in der Postproduktion erfahren. Wir haben auch die echten Sets für die Punktwolken gescannt, um die Konsistenz in der Geschichte aufrechtzuerhalten.
Was war der Grund, warum das Team beschlossen hat, das Spiel in Unity zu erstellen, und gab es spezifische Werkzeuge in der Engine, die während der Entwicklung besonders hilfreich waren?
Avi: Unser vorheriges Projekt, Afterlife, verwendete bereits Unity und unsere proprietäre Software, VREX, war vollständig mit der Engine kompatibel. Wir hatten auch interne Expertise entwickelt, die wir für unser nächstes Projekt nutzen wollten. Die Verwendung von Timeline ermöglichte es uns, die reichhaltige narrative Erfahrung von Human Within zu schaffen und die Interaktion einfach zu integrieren. Shader Graph und VFX Graph ermöglichten es uns, unsere kreativen Grenzen zu erweitern und gleichzeitig eine akzeptable FPS aufrechtzuerhalten. Darüber hinaus ermöglichten die zahlreichen Plugins im Asset Store eine Beschleunigung der Entwicklung. AVPro erfüllte insbesondere all unsere Anforderungen an die Anzeige zahlreicher Videos auf verschiedenen Plattformen.
Du hast erwähnt, dass du eine proprietäre Software, VREX, für die Entwicklung deines Spiels Afterlife entwickelt hast. Welche Rolle spielte sie im interaktiven Geschichtenerzählen von Human Within?
Avi: Typischerweise sind VR-Erlebnisse, die Live-Action-Inhalte integrieren, relativ kurz und linear im Fluss. Die Möglichkeit, eine verzweigte, langformatige narrative Erfahrung in dieses Format zu bringen, ist etwas, auf das wir definitiv stolz sind. Dieses Unterfangen brachte viele Herausforderungen mit sich, eine davon war die Kapazität, die gesamte Erfahrung auf dem Headset, ungebunden, unterzubringen. VR-Video-Inhalte erfordern eine sehr hohe Auflösung, um in einem Headset gut auszusehen. Und je mehr Inhalte du hast, desto schwieriger ist es, sie auf ein Gerät zu bringen.
VREX wurde ursprünglich von Signal Space Lab entwickelt, während an dem Projekt Afterlife gearbeitet wurde, und wurde während der Entwicklung von Human Within verbessert. Diese proprietäre Software hat eine benutzerfreundliche Oberfläche, die den meisten zeitgebundenen Editoren (wie Premiere oder FinalCut) ähnlich ist und nahtlose verzweigte Interaktivität ermöglicht, die sofort auf Benutzerentscheidungen auf eine Vielzahl von Stimuli (Blickrichtung, Bildschirminteraktion und sogar Ton) reagiert. Es ermöglicht auch die Entwicklung reichhaltiger Erfahrungen, die Live-Action-Material enthalten.
Kann Human Within als Grundlage für zukünftige Projekte dienen?
Avi: Das Entwicklungsteam ist äußerst stolz auf das, was Human Within hervorgebracht hat. Wir glauben, dass die Zukunft der immersiven Medien darin liegt, den Benutzer auf Weisen in die Geschichte zu bringen, die nur VR ermöglichen kann. Dich in die Geschichte zu versetzen, wo Charaktere als aktiver Teilnehmer mit dir sprechen, anstatt ein passiver Beobachter zu sein. Human Within zielt genau darauf ab, mit erzählerischen Langformaten zu arbeiten. Wir hoffen auf jeden Fall, dass andere Studios inspiriert werden, in naher Zukunft ähnliche Inhalte zu erstellen. Während unser Ziel darin bestand, das Mögliche für das Medium zu erweitern, gibt es sicherlich Raum, um noch weiter zu expandieren. Das gesagt, Interaktivität und verzweigte Elemente müssen sich nicht nur auf fiktive Inhalte beziehen. Es kann auch verwendet werden, um interaktive Schulungsvideos und geführte virtuelle Touren zu verbessern. Solange es eine Nachfrage dafür gibt, werden wir in Betracht ziehen, die Grenzen noch weiter zu verschieben.
Anne: Im Moment konzentrieren wir uns auf die Veröffentlichung von Human Within. Es wäre jedoch erstaunlich, dorthin zurückzukehren, wo wir aufgehört haben, und alles, was wir gelernt haben, sowie neue technische Entwicklungen als Grundlage für zukünftige Projekte zu nutzen. Es ist auch spannend zu sehen, wie andere das Mischen von Film und interaktivem Gaming angehen.
Was für Ratschläge haben Sie für Kreative, die Film und interaktives Gaming mischen?
Avi: Planung. Viel und viel Planung. Die Gestaltung eines interaktiven Erlebnisses mit verzweigter Erzählung erfordert ein großes Maß an Weitsicht, und trotz dessen gibt es unvermeidlich unerwartete Hürden, die dennoch auftreten. Aber mit guter Planung können Lösungen für diese Hürden gefunden werden, die die Produktion nicht vollständig entgleisen lassen. Ein weiterer Punkt, den ich sehr empfehle, ist die Erstellung eines vollständig spielbaren Prototyps des Erlebnisses von Anfang bis Ende. Dies ermöglicht es dem Entwicklungsteam, alle Fluss- und technischen Probleme zu erkennen, die möglicherweise nicht so gut funktionieren, wie erwartet, von Seite zu Bildschirm. Und im Fall der Filmaufnahme von Live-Action-Inhalten bietet es eine Grundlage dafür, was genau für jede Szene über das hinaus benötigt wird, was das Skript vorschreibt. Selbst dann ist das Endergebnis nicht in Stein gemeißelt, da bestimmte Anforderungen oder Einschränkungen im Zusammenhang mit der Filmaufnahme des Inhalts weitere Anpassungen des allgemeinen Erlebnisses erfordern - insbesondere bei der Erstellung von etwas, das darauf abzielt, neue Wege zu beschreiten.
Anne: Versuchen Sie es einfach. Als wir anfingen, an Human Within zu arbeiten, waren alle begeistert, etwas Neues zu erkunden. Aber aus der Perspektive der Filmproduktion brachte es auch viele Unsicherheiten mit sich. Um sicherzustellen, dass am Ende alles funktionierte, mussten wir vorher viel testen – zum Beispiel herausfinden, wie man die Schauspieler während entscheidender Momente in 360°-Szenen positioniert oder wie man eine POV in demselben Format dreht, ohne dass es unangenehm wirkt. Insbesondere während der Vorproduktion erforderte dieses Format viel mehr Versuch und Irrtum als die traditionelle Filmproduktion.
Ein riesiges Dankeschön an Avi und Anne, dass sie sich die Zeit genommen haben, über ihr Spiel zu sprechen. Human Within ist jetzt auf SteamVR und Meta Quest verfügbar, und es gibt noch mehr spannende Projekte von Signal Space Lab in der Pipeline. Finde diese und weitere Made With Unity-Titel auf unserer offiziellen Steam Curator-Seite, oder abonniere unseren LinkedIn-Newsletter, um alle neuesten Nachrichten zu erhalten.