A Nvidia pretende relançar um de seus cavalos de trabalho: o DLSS. A abreviação significa Super Amostragem de Deep Learning, Ou Supersampling através de redes neurais artificiais.

Você tem que começar de longe para entender por que criamos essa tecnologia. Uma das limitações dos videogames são as performances obtidas em um hardware específico. No mundo dos PCs, é possível, ajustando os parâmetros gráficos, obter várias experiências diferentes. Posso jogar a 30 FPS, favorecendo os detalhes gráficos, ou abaixe cada configuração para poder jogar a 120 FPS. O orçamento sempre foi o limite: uma GPU de 200 € certamente não tem capacidade para uma GPU de 1000 €. A tarefa de uma GPU é decidir a cor dos pixels que compõem a imagem final. Quanto menor o número de pixels, mais rápido ele pode concluir o cálculo e, portanto, ter maior desempenho.

Resolutiongate

No entanto, tocar na resolução parece ser um dos maiores tabus do mundo dos jogos para PC, enquanto no mundo dos consoles é usado diariamente. Principalmente pelo fato de reproduzir a uma curta distância da tela, a perda de detalhes que ocorre ao espalhar uma imagem com resolução mais baixa do que a imagem nativa em um monitor é bastante evidente. Portanto, em geral, é muito melhor reproduzir no mínimo, mas sempre na resolução nativa do monitor para obter clareza visual máxima.

Nos últimos anos, com a disseminação da 4K ea vontade de avançar em direção ao uso de Rastreamento de Raios, iluminação em tempo real calculada de acordo com uma difusão de raios, o mais próximo da realidade que é computacionalmente pesado, muitas novas técnicas de aumento de escala foram criadas, capazes de reconstruir uma imagem de alta resolução a partir de uma imagem mais baixa, com cada vez mais algoritmos eficiente e eficaz. As técnicas de reconstrução temporal, como as usadas em Rainbow Six Siege e Watch Dogs 2 ou a renderização de cheques usados ​​no PlayStation 4, com excelentes resultados. São técnicas que ainda possuem muitos artefatos e uma perda perceptível de qualidade, mas são bons compromissos por terem desempenho retroativo.

Menos é mais

Nos últimos anos, inúmeras técnicas de reconstrução e aprimoramento de imagens baseadas em algoritmos de aprendizado profundo estavam sendo desenvolvidas, com resultados muito notáveis, superiores às de qualquer outro programa ou trabalho humano pré-existente. Esses cálculos não eram realizados em tempo real, portanto, úteis para restaurar filmes antigos ou obras destruídas ou corrompidas pelo tempo, ou melhorar sua galeria de fotos em baixa resolução, filhos de tempos tecnologicamente mais curtos. A Nvidia viu uma oportunidade aqui: se conseguisse executar o algoritmo neural em um tempo comparável ao da geração de um quadro, poderia aplicar as mesmas regras nos videogames em tempo real.

Então, aqui está uma das razões pelas quais a arquitetura de Turing é tão densa com as unidades de computação. Unidade FP32 para o cálculo gráfico clássico, unidade INT32 para processar muitos dos efeitos que não exigem a precisão do ponto flutuante sem interromper o pipeline principal. Módulos RTX para acelerar o cálculo da interseção dos raios com a geometria dos mundos dos jogos para uma iluminação realista. E, finalmente, os protagonistas desta tecnologia: i Núcleo Tensorial. Unidades de cálculo otimizadas para elaborar matrizes e estruturas algébricas na base do cálculo do Deep Learning.

Treinamento DLSS 2.0
As imagens reconstruídas da rede são testadas em imagens na resolução nativa de 16K para identificar onde o algoritmo está errado e melhorar autonomamente

Então aqui no final de 2018, o DLSS 1.0 apareceu. E certamente não eram rosas e flores; pelo contrário, a tecnologia era particularmente imatura. A abordagem da Nvidia foi particularmente "centrada na imagem". A tecnologia funcionou bem ao realizar um simples aumento de escala em imagens estáticas, ou melhor, determinísticas, mas muito menos com as dinâmicas e em movimento de um videogame. Cada software precisava de treinamento específico em redes neurais. Os núcleos dos tensores eram muito lentos para executar o algoritmo e isso significava a indisponibilidade em determinadas configurações. O risco seria ter uma diminuição no desempenho em vez de um aumento. A qualidade das imagens finais só era aceitável quando se pretendia obter 4K, enquanto tentar usá-lo em Full HD era um suicídio. Apesar das promessas de melhorias devido ao treinamento adicional da rede, pouco mudou.

Sempre valorize seus erros

A Nvidia decidiu, portanto, repensar a tecnologia, tornando-a algo digno de ser usado e, acima de tudo, muito mais fácil de usar. O DLSS 2.0 é um grande avanço, uma maneira completamente nova de reconstruir a imagem desde sua primeira iteração. Temos um algoritmo genérico, que não é mais ad hoc criado para cada jogo, portanto aplicável a todos os softwares e todas as resoluções. O algoritmo também foi acelerado, de acordo com a casa agora roda duas vezes a velocidade de antes, removendo completamente as restrições de configuração. Para substituir as informações geradas por redes dedicadas anteriores para cada jogo individual, A Nvidia integrou informações vetoriais sobre o movimento dentro do quadro. Dessa maneira, após a primeira imagem gerada, é gerado feedback temporal e, a partir da segunda, é criada uma imagem temporalmente estável.

Este método é a base das técnicas de anti-serrilhado temporal, conhecidas pelo nome de TAA, que têm a tarefa de suavizar os cantos angulares das imagens. Assim, pode-se dizer, simplificando bastante o trabalho realizado pelos técnicos da Nvidia, que o DLSS 2.0 combina um upscaler de alta qualidade com um filtro TAA. Com um resultado, no entanto, isso leva os pontos fortes dos dois mundos e não os piores lados. O algoritmo também é muito mais flexível e se apresenta ao jogador em três níveis de qualidade: Qualidade, Balanceado e Desempenho. O último opera com 50% da resolução final (4 vezes superior), o Balanced, que opera com 57% da resolução final e com a Qualidade, com 66%.

DLSS 2.0 da Nvidia, apresentação oficial e mergulho técnico.
Não apenas melhores desempenhos, mas melhor qualidade gráfica renderizada, mesmo em comparação com a resolução nativa em muitos detalhes!

Novos jogos suportados, espero aumentar

Não é apenas propaganda sem nada para tocar. A Nvidia trabalhou para aliviar a carga dos desenvolvedores na implementação dessa tecnologia. No entanto, requer acesso às informações vetoriais acima do mecanismo de jogo, felizmente muito comum hoje em dia devido ao uso do TAA, mas ainda não é algo capaz de operar diretamente dos drivers em qualquer software existente. Eu mesmo tentei o DLSS 2.0 em Deliver Us The Moon, obtendo performances que eu nunca esperava, sendo capaz de reproduzir a 2560 × 1080 em ultra, incluindo efeitos RTX, em uma taxa de quadros maior que 60 FPS no RTX 2060.

Controle, o lindo jogo de tiro da Remedy Entertainment, mostrou um pouco do DLSS 2.0, com uma variante preliminar executada em núcleos FP32 normais. Agora ele receberá com a próxima expansão, o verdadeiro DLSS 2.0. Notícias que me inclinam a fazer uma segunda corrida. Como prova de que não é necessário ter o RTX para poder se beneficiar do aumento de desempenho fornecido pelo DLSS, o Mechwarrior 5 estará equipado com essa tecnologia.

Não conheço você, mas aprecio muito essa tendência em direção a tecnologias que buscam melhorar o desempenho sem sacrificar a qualidade gráfica geral, capaz de tornar nossas placas gráficas mais versáteis e duradouras. O sombreamento de taxa variável será o futuro, dada a sua adoção nos próximos consoles e nas placas de Turing e subseqüentes, mas estou convencido de que essa nova encarnação do DLSS é verdadeiramente revolucionária e um ás no buraco em que focar. Cabia a mim decidir, eu gostaria de vê-lo implementado em todos os jogos para PC daqui até o fim dos tempos.