Polyphony Digital foi recentemente revelado Gran Turismo Sofiaum novo sistema de acionamento de inteligência artificial que aparecerá em Gran Turismo 7. A tecnologia foi desenvolvida em colaboração com a equipe de 25 pessoas da Sony AI, usando os mais recentes avanços em aprendizado de máquina. A pesquisa da equipe foi publicada em natureza E a GT Sophy testou (e derrotou!) alguns dos melhores pilotos de Gran Turismo do mundo em Evento ao vivo em Tóquio no ano passado.

No entanto, a revelação do GT Sophy levantou quase tantas perguntas quanto respondeu. Como exatamente a tecnologia funciona? Como ele será realmente integrado? GT7E que tipo de restrições existem?

Para ajudar a responder a todas essas perguntas, estudamos natureza A publicação conversou com o criador da série Gran Turismo, Kazunori Yamauchi, e o diretor da Sony AI America, Peter Wurman, em uma entrevista exclusiva. Isto é o que aprendemos.

Como Sophie realmente funciona

Como “jogadora”, Sophie vê o ambiente virtual do Gran Turismo como um mapa estático, com as linhas esquerda, direita e central definidas como pontos 3D. A pista em frente ao Sophy é dividida em 60 segmentos igualmente espaçados, sendo o comprimento de cada segmento calculado dinamicamente pela velocidade do veículo. Cada clipe representa aproximadamente 6 segundos de viagem a qualquer momento.

Sophy também tem acesso a certas informações sobre o que o carro está fazendo em seu ambiente, incluindo velocidade 3D, velocidade angular, aceleração, carga em cada pneu e ângulos de deslizamento dos pneus. Ele também está ciente do progresso do veículo ao longo da pista, a inclinação da superfície da pista, a direção do veículo para a linha central da pista e as bordas dianteiras. Sophy é notificada pelo jogo se o veículo entrar em contato ou viajar para fora dos limites de pista padrão do jogo.

Em termos de controles, o Sophy só tem acesso às entradas de aceleração, frenagem e direção esquerda/direita. Ele só pode modular essas entradas a uma taxa de 10 Hz, ou aproximadamente a cada 100 milissegundos. Ele não tem acesso a troca de marchas, controle de tração, balanceamento de freio ou quaisquer outros parâmetros normalmente disponíveis para jogadores humanos.

Essas variáveis ​​ambientais e entradas limitadas são apresentadas a Sophie, e ela então começa a trabalhar. Usando algoritmos avançados de “aprendizagem de máquina”, ele dirige o caminho repetidamente. É “recompensado” – em termos esportivos – por percorrer a pista no menor tempo possível, e “punido” – novamente, em termos esportivos – se você entrar em contato com paredes ou outros carros ou sair dos limites.

“A GT Sophy foi treinada usando aprendizado por reforço”, explicou o diretor da Sony AI America, Peter Wehrmann. “Essencialmente, demos a ela recompensas por progredir na pista ou ultrapassar outro carro e penalidades por sair da pista ou colidir com outros carros. Para garantir que ela aprendesse a agir em cenários de corrida competitivos, colocamos a concessionária em muitas situações de corrida diferentes com vários tipos de adversários. Com bastante prática, por tentativa e erro, ele foi capaz de aprender a lidar com outros carros. Havia uma linha muito tênue entre ser agressivo o suficiente para manter sua linha de direção e ser muito agressivo e causando acidentes e recebendo penalidades”.

Worman passou a descrever os desafios mais difíceis no processamento de dados. A parte difícil foi descobrir como apresentar essas informações às redes neurais da maneira mais eficiente. Por exemplo, por tentativa e erro, descobrimos que codificar cerca de 6 segundos da pista que se aproximava era informação suficiente para o GT Sophy tomar decisões sobre suas linhas de direção”, explicou. “Outro grande desafio foi equilibrar as dicas de recompensa e punição para produzir um agente que era ao mesmo tempo agressivo e esportivo.” o bom.”

Sophy faz tudo isso em tempo real, nos PlayStation 4 reais rodando uma edição especial de Gran Turismo Sport que relata dados posicionais necessários e aceita entradas de controle em uma conexão de rede. O código Sophy é executado por servidores que se comunicam com PlayStations pela rede. Para ajudar a acelerar o processo, Sophy controla 20 carros que circulam na pista ao mesmo tempo. Os resultados são alimentados em servidores equipados com chips NVIDIA V100 ou A100 e GPUs de nível de servidor projetadas para processar dados de IA e aprendizado de máquina.

É importante notar que esse tipo de poder computacional é necessário apenas para “criar” o Sophy, não para executá-lo. O processo de aprendizado de máquina eventualmente leva a “modelos” que podem ser implementados em hardwares mais modestos.

“O aprendizado do Sophy é processado em paralelo com os recursos de computação na nuvem, mas se você estiver apenas implementando uma rede já adquirida, o PS5 local é mais que suficiente”, explicou Kazunori Yamauchi. “Esta assimetria de poder de computação é uma característica geral das redes neurais.”

Como Sophie é diferente

A IA em jogos de corrida sempre foi uma espécie de “caixa preta”. Os desenvolvedores de jogos raramente discutem como realmente funciona, mas é uma parte importante dos jogos de corrida com a qual todos os jogadores interagem. Estamos curiosos para saber mais sobre como a IA do Gran Turismo funcionou no passado e o que torna Sophy tão diferente.

Como Kazunori Yamauchi nos mostrou, o processo de aprendizado de máquina fornece à Sophy mais regras de comportamento do que os programadores humanos podem imaginar, mas essa estratégia também traz suas desvantagens.

Yamauchi-san explica: “A inteligência artificial até agora tem sido baseada em regras, então funciona basicamente como um programa ‘se-então’.” Mas não importa quantas regras sejam adicionadas, ela não pode lidar com condições e ambientes além de os especificados. Por outro lado, o Sophy gera uma enorme quantidade de regras implícitas que os humanos não conseguem lidar, dentro de sua camada de rede. Como resultado, eles são capazes de se adaptar a diferentes condições e ambientes. Mas como essas regras são implícitas, isso significa que não é possível fazê-los aprender um “comportamento específico” que seria simples para uma IA baseada em regras. “

Como Sophie apareceria em Gran Turismo 7

Embora o Sophy tenha sido desenvolvido nos últimos anos usando Gran Turismo SportA tecnologia aparecerá pela primeira vez na realidade Gran Turismo 7 Em uma futura atualização do jogo. O anúncio de Kazunori Yamauchi foi leve em detalhes, então era algo que estávamos empolgados em perguntar a ele.

“É possível que Sophie apareça na frente do jogador em três formas”, explicou Yamauchi-san. “Como professor que ensina pilotagem para os jogadores, aluno que aprende desportivismo com os jogadores e como amigo que corre com ele, não descartaria a possibilidade de definir Spec B, onde o jogador é o diretor de corrida e Sophie é o motorista”.

Sophy também pode ser usado como uma ferramenta no próprio jogo. “Em princípio, é possível usar o Sophy para configurações do BOP”, acrescentou Yamauchi. “Se fosse apenas alinhar os tempos de volta dos diferentes carros, isso pode ser feito agora. Mas como as configurações de BoP não são apenas sobre tempos de volta, não deixaremos tudo para Sophie, mas definitivamente ajudará a criar BoPs .”

Sophie ainda está aprendendo

Assim que Sophy foi revelada, ficamos curiosos para saber mais sobre suas limitações. A equipe de IA da Sony está totalmente ciente de como a Sophy pode melhorar e a própria tecnologia ainda está em desenvolvimento ativo.

Por exemplo, na iteração atual, Sophy é treinada em caminhos específicos em condições específicas, mas a equipe espera que a tecnologia seja capaz de se adaptar. “Estas versões do GT Sophy foram treinadas em combinações específicas de pistas de veículos”, explicou Warman. “Melhorar o desempenho de condução do concessionário a par das modificações no desempenho do veículo é parte do nosso trabalho futuro. Esta versão do GT Sophy também não foi treinada para diferenças ambientais, mas esperamos que as tecnologias continuem a funcionar nestas condições.”

Quando Sophy estreou como uma superpiloto capaz de derrotar os melhores jogadores de Gran Turismo do mundo, surgiram imediatamente dúvidas e preocupações sobre sua capacidade de se adaptar a pilotos humanos menos competitivos.

De acordo com Peter Wehrmann, o Sophy pode se adaptar literalmente dirigindo como um motorista mais novo, em vez de apenas desacelerar artificialmente. “Isso também faz parte do nosso trabalho futuro”, explicou o diretor da Sony AI America. “Nosso objetivo é criar um fator que, quando em modo ‘lento’, conduza como um motorista menos experiente, em vez de ser prejudicado de alguma forma, como acelerar ou desacelerar arbitrariamente em violação da física”.

O objetivo inicial da Sony AI era desenvolver uma IA mais rápida e competitiva, que eles pudessem construir para desenvolver uma ferramenta de uso geral que tornaria o jogo mais agradável para todos. “Nosso objetivo com este projeto foi mostrar que podemos criar um agente que pode competir com os melhores jogadores do mundo. Nosso objetivo final é criar um agente que possa dar aos jogadores de todos os tipos uma experiência de corrida emocionante”, enfatizou Warman.

Mais detalhes

A pesquisa e o desenvolvimento dos videogames de hoje – especialmente os jogos do Gran Turismo – geralmente são protegidos como segredos comerciais. Isso torna a transparência de desenvolvimento da Sophy mais refrescante e incrivelmente legal para os interessados.

Se você quiser se aprofundar e aprender mais sobre o funcionamento interno de Sophy, leia o artigo completo revisado por pares na edição de 10 de fevereiro de 2022 da natureza Jornal cientifico. Artigo e resumo Disponível para download com assinatura. Acesso gratuito a naturezaVerifique com sua biblioteca ou universidade local.

Temos certeza de saber mais sobre Sophy ainda GT7Foi lançado em 4 de março de 2022. E, como de costume, ficaremos atentos a qualquer notícia assim que for revelada. Fique ligado!

Assista a mais artigos sobre Gran Turismo Sophy e Kazunori Yamauchi.