Sügavõppe superdiskreetimine

Sügavõppe superdiskreetimine (ingl Deep Learning super sampling, DLSS) on närvivõrke kasutav sügavõppe meetod, millega saab suurendada piltide lahutusvõimet. See leiutati tehnoloogiafirma Nvidia poolt ning meetodit saab kasutada vaid Nvidia GeForce RTX 20 ja GeForce RTX 30 seeria videokaartidega. Nvidia sõnul on DLSSi poolt parandatud pildi kvaliteet võrreldav reaalselt kõrgema kvaliteediga renderdatud pildiga. See tähendab, et suurema lahutusvõimega pilte on võimalik saada väiksema arvutusvõimsusega, mis on oluline näiteks videomängude kaadrite arvutamise puhul, sest see võimaldab sama riistvara peal suuremat lahutusvõimet ja kaadrisagedust.[1] Nvidia on samuti väitnud, et DLSS 2.0 võimaldab kuni neljakordset lahutusvõime suurendamist sealjuures kahjustamata pildi kvaliteeti.[2]

Nelja kaadri võrdlus, mis on viidud 1440p lahutusvõimeni. Vasakul on koheselt 1440p lahutusvõimega renderdatud kaader, vasakult teine on DLSS 2.0 poolt jõudlusrežiimis arvutatud kaader, paremalt teine on DLSS 2.0 poolt kvaliteetrežiimis arvutatud kaader ja kõige parempoolne on DLSS 2.0 poolt tasakaalurežiimis arvutatud kaader.
Nelja kaadri võrdlus, mis on viidud 1440p lahutusvõimeni. Vasakul on kohe 1440p lahutusvõimega renderdatud kaader, vasakult teine on DLSS 2.0 poolt jõudlusrežiimis arvutatud kaader, paremalt teine on DLSS 2.0 poolt kvaliteetrežiimis arvutatud kaader ja kõige parempoolne on DLSS 2.0 poolt tasakaalurežiimis arvutatud kaader. Alampildid on võrreldavad oma lahutusvõime poolest, kuid DLSS 2.0 algoritmiga kõrgdiskreeditud pildid võimaldavad suuremaid kaadrisagedusi.

AjaluguRedigeeri

Nvidia reklaamis DLSSi kui üht võtmeelementi GeForce RTX 20 seeria videokaartide juures siis, kui need 2018 aasta septembris välja tulid[3]. Sel ajal oli DLSS rakendatavus piiratud vaid paari videomänguga, näiteks Battlefield V ja Metro Exodus. Mängude valik oli peamiselt limiteeritud seetõttu, et kasutatavat närvivõrku pidi treenima iga mängu peal eraldi, mis tegi selle rakendamise keeruliseks[4]. Samuti võttis Nvidia sõnul DLSSi rakendamine iga kaadri jaoks kindla fikseeritud aja, mis tähendas, et mida suurema arvutusvõimsusega videokaardiga tegemist oli, seda proportsionaalsemalt suuremat osa DLSS kaadriarvutustorust kasutas. Seetõttu oli mõnel juhul kiirem arvutada kohe videokaardi poolt kaader ära suurema lahutusvõimsusega, kui arvutada väiksema lahutusvõimega ja kasutada DLSS-algoritmi.[5][6]

Aastal 2019 tuli välja mäng "Control", mis võimaldas kiirtejälitust ning sisaldas toetust täiustatumale DLSS versioonile, mis ei kasutanud Nvidia Turingi mikroarhitektuuri tensortuumasid, toetudes vaid CUDA tuumadele.[7]

2020. aasta aprillis andis välja Nvidia DLSS 2.0, millega tuli kaasa ka ohjuri versioon 445.75. Uut versiooni oli kohe võimalik kasutada arvutimängudega Wolfenstein: Youngblood ja Control ning Nvidia lubas toetust ka tulevastele mängudele. Erinevalt DLSSst kasutas DLSS 2.0 Tensortuumasid ning selle sügavõppe algoritmi ei pidanud enam iga mängu peal eraldi treenima.[2][3]

2020. aasta aprillist peavad DLSS 2.0 kasutamiseks mängudes nende arendajad seda lubama.

VäljaandedRedigeeri

Versioon Väljaande kuupäev Täiendus
1.0 Veebruar 2019 Esimene versioon. Kasutab tehisintellekti, mida on vaja õpetada eri mängude jaoks eraldi. Võimalik rakendada mängudele "Battlefield V", "Metro Exodus" ja "Final Fantasy XV"[6][5]
2.0 (esimene väljaanne) August 2019 Esimene 2.0 versioon, mida on kutsutud ka 1.9 versiooniks. Kasutas arvutamiseks CUDA varjutustuumasid ja oli eraldi mõeldud arvutimängu Control jaoks.[3][7]
2.0 (teine väljaanne) Aprill 2020 Teine 2.0 versioon, kuid kasutab arvutuseks tensortuumasid ja on treenitud geneeriliselt, mitte enam spetsiifiliselt kindlate mängude jaoks.[2][3]

DLSS 1.0Redigeeri

Nvidia sõnul eraldati DLSS treenimise jaoks kindlast mängust palju madala kvaliteediga aliaseeritud kaadreid, millele tekitati kas superdiskreetimisega või akumulatsioon-renderdamisega ideaalne vastekaader. Kaadrite paarid sisestati Nvidia superarvutisse, mis treenis DLSSi mudelit tuvastama aliaseeritud sisendit ja tekitama sellest antialiaseeritud kaadrit, mis sarnaneks võimalikult palju ideaalse vastekaadriga. Seejärel protsessi korrati, kuid antialiseerimise asemel tekitati kaadrile lisapiksleid.[5]

Kuigi treeningandmete kogus on suur, siis treenitud algoritm on ise vaid paari megabaidi suurune. Lõppkasutaja jaoks renderdatakse mäng väiksema lahutusvõimega ning DLSS algoritm suurendab kasutajale kuvatavat lahutusvõimet, tekitades teravama pildi.[8]

DLSS 2.0Redigeeri

DLSS 2.0 kasutab konvolutsioonilist autokoodrit, mis võtab käesoleva kaadri väikese lahutusvõimega pildi ja eelmise kaadri suure lahutusvõimega pildi ja otsustab piksli haaval, kuidas tekitada suure lahutusvõimega käesolevat kaadrit. [9]

Treenimisel võrreldakse saadud pilti ülisuure lahutusvõimega 16K võrdluspildiga ning nende erinevus saadetakse tagasi närvivõrgustikku, et see saaks oma tulemust parandada. Seda protsessi korratakse kümneid tuhandeid kordi senikaua, kuni närvivõrgustik suudab järjepidevalt toota kõrge kvaliteedi ja lahutusvõimega kaadreid.[9] Pärast mudel treenimist saadetakse see lõppkasutajale läbi ohjurite uuenduste. DLSS 2.0 võrgustikku on võimalik jooksutada suure intensiivsusega 3D-mängu puhul reaalajas.

DLSS 2.0 võimaldab kuni neljakordset pikslite kõrgdiskreetimist, mis tähendab, et kolm pikslit neljast on DLSS algoritmi poolt originaalkaadrile lisatud. Arvuti jõudlust arvestades on arendajad lisanud DLSS 2.0 puhul võimaluse ka madalamateks kõrgdiskreetimise tasemeteks, milleks on kolme- ja kahekordne kõrgdiskreetimine. Neid nimetatakse kolmeks režiimiks: kvaliteetne (ingl. quality), tasakaalus (ingl. balanced) ja jõudlus (ingl. performance), mis on vastavalt 4x, 3x ja 2x pikslite kõrgdiskreetimisega. [2]

4K-lahutusvõimega pildi saamiseks tuleb kvaliteetrežiimiga valida algkaadriks 1440p lahutusvõimsusega kaader, tasakaalusrežiimis 1260p ja jõudlusrežiimis 1080p lahutusvõimsusega kaader.[2]

DLSSi toetavad mängudRedigeeri

DLSSi toetavad mängud
Anthem
Battlefield V
Bright Memory
Call of Duty: Black Ops Cold War
Call of Duty: Modern Warfare
Call of Duty: Warzone
Control
CRSED: F.O.A.D. (Endiselt tuntud kui Cuisine Royale)
Crysis Remastered
Cyberpunk 2077
DEATH STRANDING
Deliver Us the Moon
Edge of Eternity
Enlisted
F1 2020
Final Fantasy XV
Fortnite
Ghostrunner
Gu Jian Qi Tan Online
Iron Conflict
Justice
Marvel's Avengers
MechWarrior 5: Mercenaries
Metro Exodus & Metro Exodus PC Enhanced Edition
Minecraft with RTX For Windows 10
Monster Hunter: World
Moonlight Blade
Mortal Shell
Mount & Blade II: Bannerlord
Nioh 2 - The Complete Edition
Outriders
Pumpkin Jack
Shadow of the Tomb Raider
System Shock
The Fabled Woods
The Medium
War Thunder
Watch Dogs: Legion
Wolfenstein: Youngblood
Xuan-Yuan Sword VII

[10]

ViitedRedigeeri

  1. Nvidia Corporation. "Nvidia DLSS Max FPS. Max quality. Powered by AI.". 2021. Vaadatud 08.05.2021.
  2. 2,0 2,1 2,2 2,3 2,4 Edward Liu. "GTC 2020: DLSS 2.0 - Image Reconstruction for Real-time Rendering with Deep Learning". 05.04.2020. Vaadatud 08.05.2021.
  3. 3,0 3,1 3,2 3,3 "Nvidia DLSS in 2020: stunning results". techspot.com, 26.02.2020. Vaadatud 05.08.2021.
  4. Alex Walker. "Nvidia very quietly made DLSS a hell of a lot better". kotaku.com, 22.02.2020. Vaadatud 08.05.2020.
  5. 5,0 5,1 5,2 Andrew Edelsten. "Nvidia DLSS: Your Questions, Answered". 15.02.2019. Vaadatud 09.05.2021.
  6. 6,0 6,1 Tim Schiesser. "Battlefield V DLSS Tested: Overpromised, Underdelivered". techspot.com, 19.02.2019. Vaadatud 09.05.2021.
  7. 7,0 7,1 Alex Battaglia. "Remedy's Control vs DLSS 2.0 - AI upscaling reaches the next level". eurogamer.net, 04.04.2020. Vaadatud 08.05.2021.
  8. Richard Leadbetter. "Nvidia DLSS analysis: how AI tech can make PC games run 40 per cent faster". eurogamer.net, 27.09.2018. Vaadatud 09.05.2021.
  9. 9,0 9,1 Andrew Burnes. "NVIDIA DLSS 2.0: A Big Leap In AI Rendering". nvidia.com, 23.03.2020. Vaadatud 09.05.2021.
  10. Andrew Burnes. "NVIDIA DLSS: List Of All Games Featuring GeForce RTX AI Powered Performance Accelerating Technology". nvidia.com, 07.05.2021. Vaadatud 09.05.2021.