Redéfinir l'immersion : comment Signal Space Lab a créé Human Within

Connu pour mélanger le cinéma en direct avec un design interactif de pointe, Signal Space Lab s'est fait un nom en créant des expériences VR qui remettent en question les récits traditionnels. Avec leur projet récent Human Within, le studio visait à créer plus qu'un simple jeu à travers une expérience immersive qui explore des dilemmes éthiques, l'évolution technologique et les frontières floues entre réalité et simulation.

Suite au lancement récent du jeu sur SteamVR, nous avons parlé avec le directeur créatif Avi Winkler et la réalisatrice Anne Weigel des défis de la fusion entre film et gameplay, des innovations techniques derrière Human Within, et comment leur jeu repousse les limites du gameplay narratif.

Pour commencer, pouvez-vous nous donner une introduction à Signal Space et à sa mission principale ?

Avi : Signal Space Lab est un studio de création interactive spécialisé dans les jeux vidéo, le divertissement immersif XR et la production audio. Commencant comme une maison audio en 2015, le studio a établi une unité interactive pour développer du contenu XR commercial, et a travaillé sur des titres majeurs comme la série Sid Meier’s Civilization et Jurassic World de Universal.

Signal Space a également acquis une expérience précieuse en travaillant avec des développeurs indépendants, et a sécurisé notre position en tant que studio XR innovant avec des projets comme We Happy Few : Uncle Jack Live VR, My Paper World, et le primé Afterlife. Avec notre prochaine sortie en accès anticipé de Every Day We Fight, nous cherchons à redéfinir les tactiques au tour par tour, tandis que Human Within fusionne l'action réelle et le jeu 3D.

Qu'est-ce qui a inspiré le concept derrière Human Within?

Avi: Notre objectif était de raconter une histoire unique sur la technologie, en utilisant la technologie. La réalité virtuelle immerge les joueurs dans l'histoire en tant que participant actif de manière qui n'est pas autrement possible. Inspirés par des films comme Lawnmower Man et Transcendence, nous voulions explorer les préoccupations éthiques autour des avancées technologiques rapides à une époque où de nouvelles technologies sont développées à un rythme exponentiel chaque année qui passe. Cependant, nous avons également veillé à ce que l'histoire ne se concentre pas uniquement sur les risques, car [ces] avancées ont aussi leurs avantages.

Human Within se situe à une intersection unique entre le film et les jeux vidéo. Comment avez-vous équilibré la narration structurée du film avec l'interactivité dirigée par le joueur des jeux ?

Avi : Le contenu en live-action ancre l'expérience dans la réalité de manière que les personnages polygonaux ne peuvent pas encore atteindre. Nous avons conçu Human Within pour être un film en live-action avec des interactions de gameplay qui intègrent le joueur dans l'histoire et lui permettent d'interagir avec les scènes et le déroulement des événements, tout en veillant à ce que l'aspect interactif ne soit pas écrasant pour les joueurs occasionnels. Gérer le rythme était essentiel, car trop de points d'interaction peuvent impacter l'énergie et le rythme d'une scène.

Anne: Le script de Human Within était très détaillé, mais lors de la préparation des segments en live-action, nous avons naturellement rencontré des obstacles et des restrictions pour donner vie aux scènes. Heureusement, notre équipe interdisciplinaire—combinant une expertise à la fois dans le film et le développement de jeux—nous a permis de nous adapter aux changements de script et de trouver des solutions créatives.

Quels défis ont accompagné la direction des performances FMV (vidéo en mouvement complet) dans un format interactif non linéaire ?

Anne: Le script était énorme en raison des nombreux moments de branchement. Le plus grand défi était de s'assurer que nous ne nous perdions pas dans la complexité de l'histoire tout en veillant à ce que le jeu d'acteur reste cohérent, peu importe la décision prise par le joueur. De plus, nous devions constamment garder à l'esprit les éléments interactifs—surtout pour notre personnage principal, Nyla, qui passe beaucoup de temps seule dans le laboratoire à réagir aux interactions du joueur. Tourner ces scènes semblait parfois assez abstrait, mais voir tout se rassembler à la fin a été une expérience incroyable.

Comment le processus d'écriture différait-il des scénarios de films ou de jeux traditionnels?

Avi : Que ce soit pour créer une histoire pour un film linéaire ou des jeux vidéo interactifs, une grande quantité de planification est nécessaire avant de commencer à écrire. L'histoire et les arcs des personnages doivent être développés sous forme de résumé. Pour la narration interactive, les choses deviennent beaucoup plus compliquées lorsque des choix ramifiés sont incorporés dans le mélange. Les résultats des choix doivent être pris en compte, menant à des fins multiples - sinon, les choix sont sans signification.

Le script de Human Within est plus volumineux que celui d'une production linéaire et suit un format de type choisissez votre propre aventure. Il détaille différentes fins, des variations basées sur les choix, et chaque scène en grande détail. Le calendrier de tournage était serré, ne laissant aucune place pour des reprises, donc chaque dernier détail devait être pris en compte dans la phase d'écriture du script.

Quels étaient les plus grands obstacles techniques pour combiner la vidéo à 360°, les nuages de points interactifs et les énigmes dans un environnement VR?

Avi: Les scènes de flashback mémoire à 360 constituent une grande partie de Human Within, immergeant les joueurs dans des scènes avec des choses à regarder tout autour d'eux. Il était important de porter cet aspect dans l'espace internet du jeu également. Au lieu d'un grand panneau unique montrant des événements contemporains, plusieurs panneaux affichent diverses perspectives des événements du monde réel.

Pour éviter de submerger les joueurs occasionnels, les scènes à 360 et dans l'espace internet ne nécessitent pas de regarder plus de 90 degrés de chaque côté. À l'origine, les panneaux étaient positionnés tout autour, mais cela s'est avéré inconfortable, donc le contenu a été limité à l'hémisphère face avant.

Un défi clé était que les scènes complètes à 360 ne supportent pas six degrés de liberté. Pour tenir compte de cela, les scènes d'espace internet et de nuages de points ont été conçues de sorte que les joueurs n'ont pas besoin de se déplacer physiquement.

Certaines critiques mentionnent qu'il est difficile de dire où se termine le CGI et où commence l'action réelle. Pouvez-vous partager des informations sur la façon dont vous avez atteint ce niveau d'intégration visuelle ?

Avi: La cohérence était quelque chose de très important pour nous lors de la création de Human Within. En créant une expérience narrative longue, nous voulions nous assurer que nos scènes ne deviennent pas obsolètes après un certain temps, ce qui signifiait créer une variété de types de scènes pour garder l'expérience fraîche pour les joueurs. Avec le changement des environnements et des visuels, il était important que les scènes aient un fil conducteur cohérent, en progressant d'un type à un autre, puis en revenant en arrière - tout en maintenant l'immersion d'exister dans un espace numérique.

L'utilisation de contenu en direct joue un grand rôle dans le maintien de la cohérence visuelle des souvenirs à 360 degrés aux scènes de l'espace internet. Le vide numérique virtuel dans lequel vous existez a été conçu pour être visuellement impressionnant et immersif, sans distraire le joueur du contenu se déroulant sur les nombreux panneaux qui leur sont présentés. Pour les séquences de nuages de points, il était extrêmement important pour nous de recréer les lieux et les personnages en direct avec un traitement visuel unique qui donnait l'impression d'être dans une simulation informatique - tout en étant suffisamment reconnaissable pour être familier, crédible et non désorientant. Chacun des environnements de nuages de points est présenté sous forme d'action réelle avant d'être transporté dans une recréation numérique d'eux. Donc, bien que le style visuel soit différent, l'œil de votre esprit a déjà une impression de l'emplacement.

Anne : Pour la partie en direct, tout a été filmé sur de vrais décors avec de vrais accessoires. Même les écrans dans le laboratoire affichaient les animations en temps réel autant que possible. Nous avions un département artistique incroyable pour donner vie à cela. À part quelques retouches mineures, comme le retrait des caméras visibles sur le plateau, les scènes n'ont pas subi de changements majeurs en post-production. Nous avons également scanné les vrais décors pour les nuages de points afin de maintenir la cohérence dans l'histoire.

Quelle était la raison pour laquelle l'équipe a décidé de créer le jeu dans Unity, et y avait-il des outils spécifiques dans le moteur qui étaient particulièrement utiles pendant le développement ?

Avi: Notre projet précédent, Afterlife, utilisait déjà Unity et notre logiciel propriétaire, VREX, était entièrement compatible avec le moteur. Nous avons également développé une expertise interne que nous voulions capitaliser pour notre prochain projet. L'utilisation de Timeline nous a permis de créer l'expérience narrative riche de Human Within et d'intégrer facilement l'interaction. Shader Graph et VFX Graph nous ont permis de repousser nos limites créatives tout en maintenant un FPS acceptable. De plus, les nombreux plugins disponibles sur l'Asset Store nous ont permis d'accélérer le développement. AVPro, en particulier, a répondu à tous nos besoins pour afficher de nombreuses vidéos sur différentes plateformes.

Vous avez mentionné que vous avez développé un logiciel propriétaire, VREX, pour le développement de votre jeu Afterlife. Quel rôle a-t-il joué dans le récit interactif de Human Within ?

Avi : Typiquement, les expériences VR qui intègrent du contenu en direct sont relativement courtes et linéaires dans leur déroulement. Être capable d'apporter une expérience narrative ramifiée et longue au format est quelque chose dont nous sommes définitivement fiers. Cette entreprise a entraîné de nombreux défis, dont l'un était la capacité de faire tenir l'ensemble de l'expérience sur le casque, sans fil. Le contenu vidéo VR nécessite une très haute résolution pour bien apparaître dans un casque. Et plus vous avez de contenu, plus il est difficile de le faire tenir sur un appareil.

VREX a été initialement développé par Signal Space Lab lors du travail sur le projet Afterlife et a été amélioré pendant le développement de Human Within. Ce logiciel propriétaire a une interface conviviale similaire à la plupart des éditeurs liés à la timeline (comme Premiere ou FinalCut) qui permet une interactivité ramifiée sans couture qui réagit immédiatement aux choix de l'utilisateur à travers une variété de stimuli (direction des yeux, interaction avec l'écran, et même son). Il permet également le développement d'expériences riches qui incluent des séquences en direct.

Est-ce que Human Within pourrait servir de base pour de futurs projets ?

Avi : L'équipe de développement est extrêmement fière de ce que Human Within a apporté. Nous pensons que l'avenir des médias immersifs réside dans le fait d'amener l'utilisateur dans l'histoire de manière que seul le VR peut. Vous mettant dans l'histoire, où les personnages vous parlent en tant que participant actif plutôt qu'en tant qu'observateur passif. Human Within vise à faire exactement cela avec une narration longue. Nous espérons certainement que d'autres studios seront inspirés à créer un contenu similaire dans un avenir proche. Bien que notre objectif était de repousser ce qui est possible pour le médium, il y a certainement de la place pour aller encore plus loin. Cela dit, l'interactivité et les éléments ramifiés ne doivent pas seulement s'appliquer au contenu fictif. Cela peut également être utilisé pour améliorer des vidéos d'instruction interactives et des visites virtuelles guidées. Tant qu'il y a une demande pour cela, nous envisagerons de repousser encore plus les limites.

Anne : Pour le moment, nous nous concentrons sur la sortie de Human Within. Cependant, il serait incroyable de revenir à l'endroit où nous nous sommes arrêtés, en utilisant tout ce que nous avons appris et les nouveaux développements techniques comme base pour les projets futurs. C'est aussi excitant de voir comment d'autres abordent le mélange de film et de jeu interactif.

Enfin, quel conseil avez-vous pour les créateurs qui mélangent film et jeu interactif ?

Avi : Planification. Beaucoup et beaucoup de planification. Créer une expérience interactive avec une narration ramifiée nécessite une grande prévoyance, et malgré cela, il y a inévitablement des obstacles inattendus qui se présentent encore. Mais avec une bonne planification, des solutions à ces obstacles peuvent être trouvées qui ne dérailleront pas complètement la production. Une autre chose que je recommande vivement est de créer un prototype entièrement jouable de l'expérience du début à la fin. Cela permet à l'équipe de développement de détecter tout problème de flux et technique qui pourrait ne pas fonctionner aussi bien que prévu de la page à l'écran. Et dans le cas du tournage de contenu en direct, cela fournit une base de ce qui est exactement nécessaire pour chaque scène au-delà de ce que le script dicte. Même alors, le résultat final n'est pas gravé dans la pierre, car certaines exigences ou limitations liées au tournage du contenu nécessiteront des ajustements supplémentaires à l'expérience générale - surtout lors de la création de quelque chose qui vise à ouvrir de nouvelles voies.

Anne: Essayez simplement. Lorsque nous avons commencé à travailler sur Human Within, tout le monde était enthousiaste à l'idée d'explorer quelque chose de nouveau. Mais d'un point de vue cinématographique, cela comportait également de nombreuses incertitudes. Pour s'assurer que tout fonctionnait à la fin, nous avons dû beaucoup tester au préalable—par exemple, déterminer comment positionner les acteurs lors de moments de branchement dans des scènes à 360° ou comment filmer un POV dans le même format sans que cela ne semble maladroit. Surtout pendant la pré-production, ce format nécessitait beaucoup plus d'essais et d'erreurs que le cinéma traditionnel.

Un grand merci à Avi et Anne d'avoir pris le temps de discuter de leur jeu. Human Within est maintenant disponible sur SteamVR et Meta Quest, et d'autres projets passionnants sont à venir de Signal Space Lab. Trouvez ces titres et d'autres Made With Unity sur notre page de Curateur Steam officielle, ou abonnez-vous à notre Newsletter LinkedIn pour toutes les dernières nouvelles.