Redefinindo a imersão: como o Signal Space Lab criou Human Within

Conhecido por misturar filmmaking em live-action com design interativo de ponta, o Signal Space Lab se destacou ao criar experiências de VR que desafiam narrativas tradicionais. Com seu projeto recente Human Within, o estúdio teve como objetivo criar mais do que apenas um jogo através de uma experiência imersiva que explora dilemas éticos, evolução tecnológica e as fronteiras borradas entre realidade e simulação.

Após o recente lançamento do jogo na SteamVR, conversamos com o Diretor Criativo Avi Winkler e a Diretora de Cinema Anne Weigel sobre os desafios de unir filme e jogabilidade, as inovações técnicas por trás de Human Within, e como seu jogo expande os limites da jogabilidade orientada por narrativa.

Para começar, você pode nos dar uma introdução ao Signal Space e sua missão principal?

Avi: O Signal Space Lab é um estúdio de criação interativa especializado em videogames, entretenimento imersivo de XR e produção de áudio. Começando como uma casa de áudio em 2015, o estúdio estabeleceu uma unidade interativa para desenvolver conteúdo comercial de XR, e trabalhou em grandes títulos como a série Sid Meier’s Civilization e Jurassic World da Universal.

O Signal Space também ganhou experiência valiosa trabalhando com desenvolvedores independentes, e consolidou nossa posição como um estúdio inovador de XR com projetos como We Happy Few: Uncle Jack Live VR, My Paper World, e o premiado Afterlife. Com nosso próximo lançamento de acesso antecipado de Every Day We Fight, buscamos redefinir táticas por turnos, enquanto Human Within une live-action e jogos 3D.

O que inspirou o conceito por trás de Human Within?

Avi: Nosso objetivo era contar uma história única sobre tecnologia, usando tecnologia. VR imerge os jogadores na história como participantes ativos de maneiras que não são possíveis de outra forma. Inspirados por filmes como Lawnmower Man e Transcendence, queríamos explorar preocupações éticas em torno dos rápidos avanços tecnológicos em um momento em que novas tecnologias estão sendo desenvolvidas a uma taxa exponencial a cada ano que passa. No entanto, também nos certificamos de que a história não se concentrasse apenas nos riscos, já que [esses] avanços também têm seus benefícios.

Human Within está em uma interseção única entre filme e videogames. Como você equilibrava a narrativa estruturada do filme com a interatividade dirigida pelo jogador dos jogos?

Avi: Conteúdo em live-action fundamenta a experiência na realidade de maneiras que personagens poligonais ainda não conseguem alcançar. Projetamos Human Within para ser um filme em live-action com interações de jogabilidade que incorporam o jogador na história e permitem que ele interaja com as cenas e o fluxo de eventos, enquanto garantimos que o aspecto interativo não fosse esmagador para jogadores casuais. Gerenciar o ritmo foi fundamental, pois muitos pontos de interação podem impactar a energia e o ritmo de uma cena.

Anne: O roteiro de Human Within era altamente detalhado, mas ao nos prepararmos para os segmentos em live-action, naturalmente encontramos obstáculos e restrições para dar vida às cenas. Felizmente, nossa equipe interdisciplinar—combinando expertise em cinema e desenvolvimento de jogos—nos permitiu adaptar às mudanças no roteiro e encontrar soluções criativas.

Quais desafios surgiram ao dirigir performances de FMV (vídeo em movimento completo) em um formato interativo não linear?

Anne: O roteiro era enorme devido aos muitos momentos ramificados. O maior desafio foi garantir que não nos perdêssemos na complexidade da história, enquanto garantíamos que a atuação permanecesse consistente, não importando qual decisão o jogador tomasse. Além disso, tivemos que manter constantemente os elementos interativos em mente—especialmente para nossa personagem principal, Nyla, que passa muito tempo sozinha no laboratório reagindo às interações do jogador. Filmar essas cenas parecia bastante abstrato às vezes, mas ver tudo se juntar no final foi uma experiência incrível.

Como o processo de escrita diferiu dos roteiros tradicionais de filmes ou jogos?

Avi: Seja criando uma história para um filme linear ou jogos de vídeo interativos, é necessário um grande planejamento antes que a escrita comece. A história e os arcos dos personagens precisam ser desenvolvidos em forma de resumo. Para a narrativa interativa, as coisas se tornam muito mais complicadas quando escolhas ramificadas são incorporadas. Os resultados das escolhas precisam ser considerados, levando a múltiplos finais—caso contrário, as escolhas são sem sentido.

O roteiro de Human Within é maior do que o de uma produção linear e segue um formato de escolha sua própria aventura. Ele detalha diferentes finais, variações baseadas em escolhas e cada cena em grande detalhe. O cronograma de filmagem era apertado, não deixando espaço para regravações, então cada último detalhe teve que ser considerado na fase de escrita do roteiro.

Quais foram os maiores obstáculos técnicos na combinação de vídeo 360°, nuvens de pontos interativas e quebra-cabeças em um ambiente VR?

Avi: As cenas de flashback de memória 360 ocupam uma grande parte de Human Within, imergindo os jogadores em cenas com coisas para olhar ao seu redor. Era importante levar esse aspecto para o espaço da internet do jogo também. Em vez de um único painel grande mostrando eventos atuais, múltiplos painéis exibem várias perspectivas de acontecimentos do mundo real.

Para evitar sobrecarregar jogadores casuais, as cenas de 360 e espaço da internet não exigem olhar mais de 90 graus para cada lado. Originalmente, os painéis estavam posicionados ao redor, mas isso se mostrou desconfortável, então o conteúdo foi limitado ao hemisfério voltado para frente.

Um desafio chave foi que cenas completas de 360 não suportam seis graus de liberdade. Para levar isso em conta, as cenas de espaço da internet e nuvem de pontos foram projetadas para que os jogadores não precisem se mover fisicamente.

Algumas avaliações mencionam que é difícil dizer onde CGI termina e a ação ao vivo começa. Você pode compartilhar insights sobre como você alcançou esse nível de integração visual?

Avi: A consistência foi algo muito importante para nós ao fazer Human Within. Ao criar uma experiência narrativa de longa duração, queríamos garantir que nossas cenas não se tornassem monótonas após um tempo, o que significava criar uma variedade de tipos de cena para manter a experiência fresca para os jogadores. Com a mudança de ambientes e visuais, era importante que as cenas tivessem uma linha narrativa consistente ao progredir de um tipo para outro e voltar novamente - enquanto também mantinham a imersão de existir em um espaço digital.

O uso de conteúdo de ação ao vivo desempenha um grande papel em trazer a consistência visual das memórias 360 para as cenas do espaço da internet. O vazio digital virtual em que você existe foi criado para ser visualmente impressionante e imersivo, sem distrair o jogador do conteúdo que ocorre nos muitos painéis apresentados a eles. Para as sequências de nuvem de pontos, era extremamente importante para nós recriar os locais e personagens de ação ao vivo com um tratamento visual único que desse a impressão de estar dentro de uma simulação de computador - enquanto também sendo reconhecível o suficiente para ser familiar, crível e não desorientador. Cada um dos ambientes de nuvem de pontos é apresentado em forma de ação ao vivo antes de ser transportado para uma recriação digital deles. Então, enquanto o estilo visual é diferente, o olho da sua mente já tem uma impressão do local.

Anne: Para a parte de ação ao vivo, tudo foi filmado em sets reais com objetos reais. Até mesmo as telas no laboratório exibiam as animações em tempo real tanto quanto possível. Tivemos um departamento de arte incrível para dar vida a isso. Além de alguns retoques menores, como remover câmeras visíveis no set, as cenas não passaram por grandes mudanças na pós-produção. Também escaneamos os sets reais para as nuvens de pontos para manter a consistência na história.

Qual foi a razão pela qual a equipe decidiu criar o jogo na Unity, e havia ferramentas específicas no motor que foram particularmente úteis durante o desenvolvimento?

Avi: Nosso projeto anterior, Afterlife, já usava Unity e nosso software proprietário, VREX, era totalmente compatível com o motor. Também desenvolvemos uma expertise interna que queríamos capitalizar para nosso próximo projeto. Usar o Timeline nos permitiu criar a rica experiência narrativa de Human Within e integrar facilmente a interação. Shader Graph e VFX Graph nos permitiram expandir nossos limites criativos enquanto mantínhamos um FPS aceitável. Além disso, os numerosos plugins disponíveis na Asset Store nos permitiram acelerar o desenvolvimento. AVPro, em particular, atendeu a todas as nossas necessidades para exibir numerosos vídeos em diferentes plataformas.

Você mencionou que desenvolveu um software proprietário, VREX, para o desenvolvimento do seu jogo Afterlife. Qual foi o papel que ele desempenhou na narrativa interativa de Human Within?

Avi: Normalmente, experiências de VR que incorporam conteúdo de ação ao vivo são relativamente curtas e lineares em fluxo. Ser capaz de trazer uma experiência narrativa longa e ramificada para o formato é algo do qual definitivamente nos orgulhamos. Esse empreendimento trouxe muitos desafios, um dos quais foi a capacidade de encaixar toda a experiência no headset, sem fio. Conteúdo de vídeo em VR requer uma resolução muito alta para parecer bom em um headset. E quanto mais conteúdo você tem, mais difícil é encaixar em um dispositivo.

VREX foi inicialmente desenvolvido pelo Signal Space Lab enquanto trabalhava no projeto Afterlife e foi aprimorado durante o desenvolvimento de Human Within. Esse software proprietário tem uma interface amigável semelhante à maioria dos editores baseados em linha do tempo (como Premiere ou FinalCut), que permite uma interatividade ramificada sem costura que reage imediatamente às escolhas do usuário em uma variedade de estímulos (direção do olhar, interação na tela e até mesmo som). Ele também permite o desenvolvimento de experiências ricas que incluem filmagens de ação ao vivo.

Poderia Human Within servir como uma base para projetos futuros?

Avi: A equipe de desenvolvimento está extremamente orgulhosa do que Human Within trouxe à tona. Sentimos que o futuro da mídia imersiva está em trazer o usuário para a história de maneiras que apenas a VR pode. Colocando você na história, onde os personagens falam com você como um participante ativo, em vez de ser um observador passivo. Human Within visa fazer exatamente isso com narrativas longas. Certamente esperamos que outros estúdios sejam inspirados a criar conteúdo semelhante em um futuro próximo. Embora nosso objetivo fosse expandir o que é possível para o meio, certamente há espaço para expandir ainda mais as coisas. Dito isso, interatividade e elementos ramificados não precisam se aplicar apenas ao conteúdo fictício. Também pode ser usado para aprimorar vídeos instrucionais interativos e passeios virtuais guiados. Enquanto houver demanda por isso, consideraremos ultrapassar ainda mais os limites.

Anne: No momento, estamos focados no lançamento de Human Within. No entanto, seria incrível voltar ao ponto onde paramos, usando tudo o que aprendemos e novos desenvolvimentos técnicos como base para projetos futuros. É também empolgante ver como outros abordam a fusão de cinema e jogos interativos.

Finalmente, que conselho você tem para criadores que misturam cinema e jogos interativos?

Avi: Planejamento. Muito, muito planejamento. Criar uma experiência interativa com narrativa ramificada requer uma grande quantidade de previsão, e apesar disso, inevitavelmente surgem obstáculos inesperados. Mas com um bom planejamento, soluções para esses obstáculos podem ser encontradas que não desviarão completamente a produção. Outra coisa que recomendo fortemente é criar um protótipo totalmente jogável da experiência do começo ao fim. Isso permite que a equipe de desenvolvimento identifique quaisquer problemas de fluxo e técnicos que podem não funcionar tão bem quanto o esperado da página para a tela. E no caso de filmar conteúdo de ação ao vivo, fornece uma base do que exatamente é necessário para cada cena além do que o roteiro dita. Mesmo assim, o resultado final não está definido em pedra, pois certos requisitos ou limitações relacionadas à filmagem do conteúdo exigirão ajustes adicionais na experiência geral - especialmente ao criar algo que visa romper novas fronteiras.

Anne: Apenas experimente. Quando começamos a trabalhar em Human Within, todos estavam empolgados em explorar algo novo. Mas, do ponto de vista da produção cinematográfica, também veio com muitas incertezas. Para garantir que tudo funcionasse no final, tivemos que testar muito antes—por exemplo, descobrir como posicionar os atores durante momentos de ramificação em cenas de 360° ou como filmar um POV no mesmo formato sem que parecesse estranho. Especialmente durante a pré-produção, esse formato exigiu muito mais tentativas e erros do que a produção cinematográfica tradicional.

Um enorme agradecimento a Avi e Anne por dedicarem um tempo para conversar sobre seu jogo. Human Within está disponível agora no SteamVR e Meta Quest, e há mais projetos empolgantes por vir de Signal Space Lab. Encontre esses e mais títulos Made With Unity em nossa Página de Curadoria do Steam, ou inscreva-se em nosso Boletim do LinkedIn para todas as últimas notícias.