NVIDIA hat enthüllt, wie DLSS 5 das Bild „nachbessert“, indem es sich nur auf einen 2D‑Frame und Bewegungsvektoren stützt.

Wie DLSS 5 funktioniert: Erklärung eines Nvidia-Mitarbeiters

In einem kürzlichen Interview erläuterte Jacob Freeman von Nvidia das Funktionsprinzip der neuen Bildskalierungstechnologie – DLSS 5, die künstliche Intelligenz nutzt.

Was in das System eingegeben wird
* 2‑D-Frame – ein gewöhnlich gerendertes Bild.
* Bewegungsvektoren – Informationen darüber, wie Objekte zwischen den Frames verschoben werden.

Es werden keine dreidimensionalen Daten verwendet: Das Modell liest die Geometrie der Szene, Tiefe, Materialien oder Normalen nicht. Das bedeutet, dass DLSS 5 vollständig auf 2‑D-Informationen und Bewegung angewiesen ist.

Wie das System die Szene „versteht“
* Semantik – Der KI erkennt Objekte wie Haare, Stoff, Haut und Lichtbedingungen.
* Dafür reicht ein einzelner Frame; das Modell berücksichtigt keine Metallizität, Rauheit oder andere Materialeigenschaften.

Aus diesem Grund können die Ergebnisse manchmal als „unvorhersehbar“ erscheinen:
- Ein Charakter bekommt Haare an Stellen, wo sie nicht vorhanden sind;
- Gesichtsmerkmale ändern sich.

Es erfolgt keine Änderung der Basisgeometrie – es ist lediglich eine visuelle Interpretation durch KI.

Einschränkungen und Möglichkeiten für Entwickler
* Entwickler können die Intensität des Effekts, Farbkorrektur, Kontrast, Sättigung, Gamma anpassen.
* Masken können verwendet werden, um bestimmte Objekte von der Verarbeitung auszuschließen.
* Sie können jedoch nicht direkt Gesichtsmerkmale korrigieren oder den „Makeup“-Effekt entfernen – die einzige Möglichkeit ist, die Intensität zu verringern, eine Maske anzuwenden oder den Algorithmus vollständig abzuschalten.

Am Ende wird das Gesicht vom KI generiert, aber sein Aussehen kann nur indirekt angepasst werden.