Η NVIDIA αποκάλυψε πώς το DLSS 5 "συνθέτει" την εικόνα, βασιζόμενο μόνο σε ένα 2D-πλαίσιο και διανύσματα κίνησης.

Πώς λειτουργεί το DLSS 5: εξήγηση από υπάλληλο της Nvidia

Σε πρόσφατο interview ο Jake Freeman (Jacob Freeman) της Nvidia διευκρίνισε τον τρόπο λειτουργίας της νέας τεχνολογίας κλιμάκωσης εικόνας — DLSS 5, που χρησιμοποιεί τεχνητή νοημοσύνη.

Τι εισάγεται στο σύστημα
* 2‑D frame – απλό σχεδιασμένο εικονογραφή.
* Διανυσματικές κινήσεις – πληροφορίες για το πώς τα αντικείμενα μετακινούνται μεταξύ των frames.

Δεν χρησιμοποιούνται τρισδιάστατα δεδομένα: το μοντέλο δεν διαβάζει τη γεωμετρία της σκηνής, την βάθος, τα υλικά ή τους χάρτες κανονικών. Αυτό σημαίνει ότι το DLSS 5 βασίζεται πλήρως σε 2‑D πληροφορίες και κίνηση.

Πώς «κατανοεί» τη σκηνή
* Σημασιολογία – η AI αναγνωρίζει αντικείμενα όπως μαλλιά, ύφασμα, δέρμα και συνθήκες φωτισμού.
* Για αυτό χρειάζεται μόνο ένα frame· το μοντέλο δεν λαμβάνει υπόψη την μεταλλικότητα, τη τραχύτητα ή άλλες ιδιότητες υλικών.

Γι’ αυτό μερικές φορές τα αποτελέσματα μπορεί να φαίνονται «αναμενόμενα»:
- ο χαρακτήρας εμφανίζει μαλλιά όπου δεν υπάρχουν;
- αλλάζουν τα χαρακτηριστικά του προσώπου.

Δεν γίνονται αλλαγές στη βασική γεωμετρία – είναι απλώς μια οπτική ερμηνεία της AI.

Περιορισμοί και δυνατότητες για τους προγραμματιστές
* Οι προγραμματιστές μπορούν να ρυθμίζουν την ένταση του εφέ, τη χρωματική διόρθωση, το αντίθεση, την κορεστικότητα, τον γκάμα.
* Μπορούν να χρησιμοποιήσουν μάσκες ώστε να εξαιρέσουν συγκεκριμένα αντικείμενα από την επεξεργασία.
* Ωστόσο δεν μπορούν να αλλάξουν άμεσα τη διόρθωση των χαρακτηριστικών του προσώπου ή να αφαιρέσουν το εφέ «μακιγιάζ» – ο μόνος τρόπος είναι να μειώσετε την ένταση, να εφαρμόσετε μάσκα ή να απενεργοποιήσετε πλήρως τον αλγόριθμο.

Στο τέλος, το πρόσωπο δημιουργείται από την AI, αλλά η εξωτερική του εμφάνιση μπορεί να διορθωθεί μόνο έμμεσα.