Redefiniendo la inmersión: cómo Signal Space Lab creó Human Within

Conocido por combinar la realización de cine en acción real con un diseño interactivo de vanguardia, Signal Space Lab se ha hecho un nombre creando experiencias de VR que desafían las narrativas tradicionales. Con su reciente proyecto Human Within, el estudio buscó crear más que solo un juego a través de una experiencia inmersiva que explora dilemas éticos, evolución tecnológica y los límites difusos entre la realidad y la simulación.

Tras el reciente lanzamiento del juego en SteamVR, hablamos con el Director Creativo Avi Winkler y la Directora de Cine Anne Weigel sobre los desafíos de fusionar cine y juego, las innovaciones técnicas detrás de Human Within, y cómo su juego amplía los límites del juego impulsado por la narrativa.

Para empezar, ¿puedes darnos una introducción a Signal Space y su misión principal?

Avi: Signal Space Lab es un estudio de creación interactiva especializado en videojuegos, entretenimiento inmersivo de XR y producción de audio. Comenzando como una casa de audio en 2015, el estudio estableció una unidad interactiva para desarrollar contenido comercial de XR, y ha trabajado en títulos importantes como la serie Sid Meier’s Civilization y Jurassic World de Universal.

Signal Space también ha ganado valiosa experiencia trabajando con desarrolladores independientes, y ha asegurado nuestra posición como un estudio innovador de XR con proyectos como We Happy Few: Uncle Jack Live VR, My Paper World, y el galardonado Afterlife. Con nuestro próximo lanzamiento de acceso anticipado de Every Day We Fight, buscamos redefinir la táctica por turnos, mientras Human Within fusiona la acción en vivo y los juegos en 3D.

¿Qué inspiró el concepto detrás de Human Within?

Avi: Nuestro objetivo era contar una historia única sobre la tecnología, utilizando la tecnología. VR sumerge a los jugadores en la historia como participantes activos de maneras que de otro modo no serían posibles. Inspirados por películas como Lawnmower Man y Transcendence, queríamos explorar las preocupaciones éticas en torno a los rápidos avances tecnológicos en un momento en que se está desarrollando nueva tecnología a un ritmo exponencial con cada año que pasa. Sin embargo, también nos aseguramos de que la historia no se centrara únicamente en los riesgos, ya que [estos] avances también tienen sus beneficios.

Human Within se sitúa en una intersección única entre el cine y los videojuegos. ¿Cómo equilibraste la narración estructurada del cine con la interactividad impulsada por el jugador de los juegos?

Avi: El contenido de acción en vivo ancla la experiencia en la realidad de maneras que los personajes poligonales aún no pueden lograr. Diseñamos Human Within para ser una película de acción en vivo con interacciones de juego que integran al jugador en la historia y les permiten interactuar con las escenas y el flujo de eventos, asegurando que el aspecto interactivo no fuera abrumador para los jugadores casuales. Gestionar el ritmo fue clave, ya que demasiados puntos de interacción pueden afectar la energía y el ritmo de una escena.

Anne: El guion de Human Within era muy detallado, pero al preparar los segmentos de acción en vivo, naturalmente encontramos obstáculos y restricciones para dar vida a las escenas. Afortunadamente, nuestro equipo interdisciplinario—combinando experiencia en cine y desarrollo de juegos—nos permitió adaptarnos a los cambios en el guion y encontrar soluciones creativas.

¿Qué desafíos surgieron al dirigir actuaciones de FMV (video de movimiento completo) en un formato interactivo no lineal?

Anne: El guion era enorme debido a los muchos momentos ramificados. El mayor desafío fue asegurarnos de no perdernos en la complejidad de la historia mientras asegurábamos que la actuación se mantuviera consistente, sin importar qué decisión tomara el jugador. Además, tuvimos que mantener constantemente en mente los elementos interactivos, especialmente para nuestro personaje principal, Nyla, quien pasa mucho tiempo sola en el laboratorio reaccionando a las interacciones del jugador. Rodar estas escenas a veces se sentía bastante abstracto, pero ver todo unirse al final fue una experiencia increíble.

¿Cómo difería el proceso de escritura de los guiones de películas o juegos tradicionales?

Avi: Ya sea creando una historia para una película lineal o videojuegos interactivos, se requiere una gran cantidad de planificación antes de que comience la escritura. La historia y los arcos de los personajes necesitan ser desarrollados en forma de resumen. Para la narración interactiva, las cosas se vuelven mucho más complicadas cuando se incorporan elecciones ramificadas en la mezcla. Los resultados de las elecciones deben ser tomados en cuenta, lo que lleva a múltiples finales; de lo contrario, las elecciones no tienen sentido.

El guion de Human Within es más grande que el de una producción lineal y sigue un formato de elige tu propia aventura. Detalla diferentes finales, variaciones basadas en elecciones y cada escena en gran detalle. El calendario de rodaje era ajustado, sin espacio para regrabaciones, por lo que cada último detalle tuvo que ser considerado en la fase de escritura del guion.

¿Cuáles fueron los mayores obstáculos técnicos al combinar video de 360°, nubes de puntos interactivas y rompecabezas en un entorno de VR?

Avi: Las escenas de flashback de memoria de 360constituyen una gran parte de Human Within, sumergiendo a los jugadores en escenas con cosas para mirar a su alrededor. Era importante llevar ese aspecto al espacio de internet del juego también. En lugar de un solo panel grande que muestra eventos actuales, múltiples paneles muestran diversas perspectivas de sucesos del mundo real.

Para evitar abrumar a los jugadores casuales, las escenas de 360y el espacio de internet no requieren mirar más de 90 grados a cada lado. Originalmente, los paneles estaban posicionados alrededor, pero esto resultó incómodo, por lo que el contenido se limitó al hemisferio frontal.

Un desafío clave fue que las escenas completas de 360no soportan seis grados de libertad. Para tener en cuenta esto, se diseñaron escenas de espacio de internet y nube de puntos para que los jugadores no necesiten moverse físicamente.

Algunas reseñas mencionan que es difícil distinguir dónde termina el CGI y comienza la acción en vivo. ¿Puedes compartir ideas sobre cómo lograste este nivel de integración visual?

Avi: La consistencia fue algo muy importante para nosotros al hacer Human Within. Al crear una experiencia narrativa de formato largo, queríamos asegurarnos de que nuestras escenas no se volvieran aburridas después de un tiempo, lo que significaba crear una variedad de tipos de escenas para mantener la experiencia fresca para los jugadores. Con el cambio de entornos y visuales, era importante que las escenas tuvieran un hilo conductor consistente al progresar de un tipo a otro, y viceversa, mientras mantenían la inmersión de existir dentro de un espacio digital.

El uso de contenido de acción en vivo juega un papel importante en llevar la consistencia visual de los recuerdos 360 a las escenas del espacio en internet. El vacío digital virtual en el que existes fue diseñado para ser visualmente impresionante e inmersivo, sin distraer al jugador del contenido que ocurre en los muchos paneles presentados a ellos. Para las secuencias de point cloud, fue extremadamente importante para nosotros recrear las ubicaciones y personajes de acción en vivo con un tratamiento visual único que diera la impresión de estar dentro de una simulación por computadora, mientras que también fueran lo suficientemente reconocibles como para ser familiares, creíbles y no desorientadores. Cada uno de los entornos de point cloud se muestra en forma de acción en vivo antes de ser transportado a una recreación digital de ellos. Así que, aunque el estilo visual es diferente, el ojo de tu mente ya tiene una impresión de la ubicación.

Anne: Para la parte de acción en vivo, todo fue filmado en sets reales con props reales. Incluso las pantallas en el laboratorio mostraban las animaciones en tiempo real tanto como fuera posible. Tuvimos un departamento de arte increíble para dar vida a esto. Además de algunos retoques menores, como eliminar cámaras visibles en el set, las escenas no han sufrido cambios importantes en la postproducción. También escaneamos los sets reales para los point clouds para mantener la consistencia en la historia.

¿Cuál fue la razón por la que el equipo decidió crear el juego en Unity, y hubo herramientas específicas en el motor que fueron particularmente útiles durante el desarrollo?

Avi: Nuestro proyecto anterior, Afterlife, ya utilizó Unity y nuestro software propietario, VREX, era totalmente compatible con el motor. También habíamos desarrollado experiencia interna que queríamos capitalizar para nuestro próximo proyecto. Usar Timeline nos permitió crear la rica experiencia narrativa de Human Within e integrar fácilmente la interacción. Shader Graph y VFX Graph nos permitieron llevar nuestros límites creativos mientras manteníamos un FPS aceptable. Además, los numerosos plugins disponibles en la Asset Store nos permitieron acelerar el desarrollo. AVPro, en particular, cumplió con todas nuestras necesidades para mostrar numerosos videos en diferentes plataformas.

Mencionaste que desarrollaste un software propietario, VREX, para el desarrollo de tu juego Afterlife. ¿Qué papel desempeñó en la narración interactiva de Human Within?

Avi: Típicamente, las experiencias de VR que incorporan contenido de acción en vivo son relativamente cortas y lineales en su flujo. Poder llevar una experiencia narrativa ramificada de formato largo al formato es algo de lo que definitivamente estamos orgullosos. Este esfuerzo trajo muchos desafíos, uno de los cuales fue la capacidad de ajustar toda la experiencia en el visor, sin cables. El contenido de video en VR requiere una resolución muy alta para verse bien en un visor. Y cuanto más contenido tienes, más difícil es ajustarlo a un dispositivo.

VREX fue desarrollado inicialmente por Signal Space Lab mientras trabajaba en el proyecto Afterlife y ha sido mejorado durante el desarrollo de Human Within. Este software propietario tiene una interfaz fácil de usar similar a la mayoría de los editores vinculados a la línea de tiempo (como Premiere o FinalCut) que permite una interactividad ramificada sin problemas que reacciona inmediatamente a las elecciones del usuario a través de una variedad de estímulos (dirección de la mirada, interacción con la pantalla e incluso sonido). También permite el desarrollo de experiencias ricas que incluyen metraje de acción en vivo.

¿Podría Human Within servir como base para futuros proyectos?

Avi: El equipo de desarrollo está extremadamente orgulloso de lo que Human Within ha aportado. Creemos que el futuro de los medios inmersivos radica en llevar al usuario a la historia de maneras que solo la VR puede. Poniéndote en la historia, donde los personajes te hablan como un participante activo en lugar de ser un observador pasivo. Human Within tiene como objetivo hacer precisamente eso con narraciones de formato largo. Ciertamente esperamos que otros estudios se sientan inspirados para crear contenido similar en un futuro cercano. Si bien nuestro objetivo era empujar lo que es posible para el medio, ciertamente hay espacio para expandir las cosas aún más. Dicho esto, la interactividad y los elementos ramificados no solo tienen que aplicarse al contenido ficticio. También se puede utilizar para mejorar videos instructivos interactivos y recorridos virtuales guiados. Mientras haya demanda para ello, consideraremos empujar los límites aún más.

Anne: En este momento, estamos enfocados en el lanzamiento de Human Within. Sin embargo, sería increíble volver a donde lo dejamos, utilizando todo lo que hemos aprendido y los nuevos desarrollos técnicos como base para futuros proyectos. También es emocionante ver cómo otros abordan la fusión de cine y juegos interactivos.

Finalmente, ¿qué consejo tienes para los creadores que fusionan cine y juegos interactivos?

Avi: Planificación. Mucha, mucha planificación. Crear una experiencia interactiva con narración ramificada requiere una gran cantidad de previsión, y a pesar de eso, inevitablemente surgen obstáculos inesperados. Pero con una buena planificación, se pueden encontrar soluciones a esos obstáculos que no descarrilarán completamente la producción. Otra cosa que recomiendo encarecidamente es crear un prototipo completamente jugable de la experiencia de principio a fin. Esto permite al equipo de desarrollo detectar cualquier problema de flujo y técnico que podría no funcionar tan bien como se esperaba de la página a la pantalla. Y en el caso de filmar contenido de acción en vivo, proporciona una base de lo que exactamente se necesita para cada escena más allá de lo que dicta el guion. Incluso entonces, el resultado final no está grabado en piedra, ya que ciertos requisitos o limitaciones relacionadas con la filmación del contenido requerirán ajustes adicionales a la experiencia general, especialmente al crear algo que busca romper nuevos terrenos.

Anne: Solo inténtalo. Cuando comenzamos a trabajar en Human Within, todos estaban emocionados por explorar algo nuevo. Pero desde la perspectiva de la realización cinematográfica, también vino con muchas incertidumbres. Para asegurarnos de que todo funcionara al final, tuvimos que probar mucho de antemano—por ejemplo, averiguar cómo posicionar a los actores durante momentos de ramificación en escenas de 360° o cómo filmar un POV en el mismo formato sin que se sintiera incómodo. Especialmente durante la preproducción, este formato requirió mucho más ensayo y error que la realización cinematográfica tradicional.

Un enorme agradecimiento a Avi y Anne por tomarse el tiempo para charlar sobre su juego. Human Within está disponible ahora en SteamVR y Meta Quest, y hay más proyectos emocionantes por venir de Signal Space Lab. Encuentra estos y más títulos Made With Unity en nuestra página oficial de Steam Curator page, o suscríbete a nuestro LinkedIn Newsletter para todas las últimas noticias.