Πως κάποιοι παίκτες «φέρνουν» το DLSS 5 στο GTA VI της κονσόλας

Ακόμα κι αν το Grand Theft Auto VI δεν είναι προς το παρόν διαθέσιμο σε PC, το ενδιαφέρον της κοινότητας έχει ήδη οδηγήσει σε περίτεχνες, DIY λύσεις που προσπαθούν να εφαρμόσουν τεχνολογίες upscaling και frame generation των υπολογιστών πάνω σε κονσολικό σήμα. Η πιο πρόσφατη ιδέα που έκανε κύκλο στα forum περιλαμβάνει σύνδεση μιας PlayStation 5 σε έναν PC μέσω capture card και τη χρήση ενός open source εργαλείου για να «περάσει» πάνω στο βίντεο το DLSS 5 της NVIDIA. Το αποτέλεσμα είναι ενδιαφέρον ως proof of concept, αλλά συνοδεύεται από τεχνικούς συμβιβασμούς και πρακτικά εμπόδια.

Η βασική ιδέα και το τεχνικό pipeline

Η διαδικασία που περιγράφουν οι χρήστες ξεκινάει με το να τρέχει το παιχνίδι στην κονσόλα, και το video output να καταγράφεται από μια 4K capture card προς έναν υπολογιστή. Στον υπολογιστή, το σήμα περνάει από το εργαλείο Veyra, ένα open source πρόγραμμα που έχει σχεδιαστεί για να εφαρμόζει νευρωνικά δίκτυα σε βίντεο και να αξιοποιεί δυνατότητες όπως το upscaling και η τεχνολογία δημιουργίας ενδιάμεσων καρέ (frame generation).

Το θεωρητικό κέρδος είναι διπλό: πρώτον, το upscaling του DLSS μπορεί να «ανακατασκευάσει» λεπτομέρειες και να δώσει πιο οξύ αποτέλεσμα σε σημεία που σε κονσόλες θα έδειχναν μαλακά. Δεύτερον, η frame generation μπορεί να πολλαπλασιάσει ένα αρχικό 30 fps σήμα σε ένα πιο ομαλό output, όπως 90 fps, προσφέροντας πιο ομαλή κίνηση στην τηλεόραση. Στο τέλος, το επεξεργασμένο βίντεο «επιστρέφει» στην τηλεόραση μέσω HDMI.

Τι ακριβώς κάνει το DLSS και πώς επηρεάζει το βίντεο

Το σύνολο των τεχνικών που ονομάζονται DLSS βασίζεται σε νευρωνικά δίκτυα που μαθαίνουν να αναδημιουργούν υψηλής ανάλυσης εικόνες από χαμηλότερης ανάλυσης inputs. Όταν μιλάμε για «neural rendering» ή upscaling, το σύστημα δεν απλώς μεγεθύνει εικονοστοιχεία (pixels), αλλά προβλέπει τις λεπτομέρειες που λείπουν, βελτιώνοντας γωνίες, περιγράμματα και υφές. Η frame generation, από την άλλη, δημιουργεί ενδιάμεσα καρέ με βάση προηγούμενα και επόμενα καρέ, επιχειρώντας να διατηρήσει τη συνοχή στην κίνηση.

Πάντως, όταν αυτά τα εργαλεία εφαρμόζονται σε ήδη renderαρισμένο βίντεο αντί για απευθείας game engine output, χάνεται ένα σημαντικό πλεονέκτημα: οι game engines παρέχουν επιπλέον πληροφορίες όπως motion vectors, βάθος και metadata που βοηθούν το AI να δημιουργήσει πιο συνεπή και λιγότερο προβληματικά αποτελέσματα. Το Veyra και παρόμοια εργαλεία προσπαθούν να «μάντεψουν» αυτές τις πληροφορίες από το ίδιο το βίντεο, και γι’ αυτό βλέπουμε μερικές φορές artefacts ή παράξενες συμπεριφορές στην εικόνα.

Το παράδειγμα: Extended Look trailer και τα οφέλη

Ο χρήστης που ανέβασε το proof of concept χρησιμοποίησε το trailer «Extended Look» του GTA VI και το πέρασε από την διαδικασία. Οπτικά, υπάρχουν σημεία όπου το αποτέλεσμα φαίνεται βελτιωμένο: πιο καθαρά παρασκήνια, πιο ακριβείς σκιές, και πιο ρεαλιστική διάχυση φωτός σε κάποιες επιφάνειες. Αυτές οι βελτιώσεις είναι ενδεικτικές του πόσο ισχυρό μπορεί να είναι ένα καλά εκπαιδευμένο μοντέλο νευρωνικού δικτύου στην ανάκτηση λεπτομερειών.

Ωστόσο, η βελτίωση δεν είναι ομοιόμορφη. Σε κάποια καρέ τα μαύρα φαίνονται «ξεθωριασμένα» σε σχέση με το αρχικό, ενώ σε άλλες σκηνές το αποτέλεσμα αποκτά ένα αίσθημα υπερβολικής ομαλότητας, γνωστό και ως εφέ «soap opera». Αυτή η υπερ-ομαλότητα μπορεί να κάνει την εικόνα να χάνει το κινηματογραφικό της βάθος και την οργανική αίσθηση που βλέπουμε σε well-graded trailers.

Τα προβλήματα: artefacts, χρώματα και latency

Εκτός από την αισθητική, εμφανίζονται και πρακτικά ζητήματα. Η frame generation που δημιουργεί ενδιάμεσα καρέ μπορεί να προκαλέσει ορισμένα glitch, σκοντάμματα κίνησης ή λάθη στην αποκατάσταση περιγραμμάτων όταν το εργαλείο δεν «μαντεύει» σωστά την κίνηση. Αυτά γίνονται πιο εμφανή σε γρήγορες κινήσεις ή σε πολύ περίπλοκες σκηνές με πολλαπλά επίπεδα βάθους.

Ένα άλλο κρίσιμο ζήτημα είναι η latency. Η όλη διαδικασία capture → επεξεργασία → επιστροφή στο display προσθέτει στάδια που αυξάνουν την καθυστέρηση εισόδου. Για το viewing trailers ή cutscenes αυτό ίσως δεν είναι πρόβλημα, όμως για το ίδιο το gameplay, ειδικά σε ανταγωνιστικά ή γρήγορα gameplay σενάρια, η καθυστέρηση μπορεί να κάνει την εμπειρία απαγορευτική. Επίσης, τεχνικά εμπόδια όπως το HDCP ασφαλείας σε κάποιες κονσόλες ή επιπλέον ρυθμίσεις HDR/tonemapping μπορούν να μπλοκάρουν ή να αλλοιώσουν το σήμα.

Πρακτικά εμπόδια και νομικές/ηθικές πτυχές

Πέρα από την τεχνική πολυπλοκότητα, υπάρχουν και ερωτήματα σχετικά με τους όρους χρήσης και την πολιτική των εκδoτών. Η καταγραφή και επεξεργασία κονσολικού output για προσωπική χρήση συνήθως γίνεται χωρίς επιπτώσεις, αλλά η διανομή τροποποιημένου υλικού, ειδικά χωρίς άδεια, μπορεί να βρεθεί σε γκρίζες ζώνες όσον αφορά τα δικαιώματα. Είναι σημαντικό οι χρήστες που πειραματίζονται με τέτοιες τεχνικές να μένουν εντός προσωπικής, μη εμπορικής χρήσης και να σέβονται τυχόν DRM.

Επιπλέον, η ανάγκη για ισχυρό υπολογιστή και υψηλής ταχύτητας capture hardware σημαίνει ότι ένα τέτοιο setup δεν είναι προσιτό σε όλους. Για να δουλέψει ομαλά το DLSS-processed stream απαιτείται αρκετή GPU ισχύς και κατάλληλο λογισμικό, οπότε πρόκειται περισσότερο για niche, enthusiast projects παρά για λύσεις ευρείας χρήσης σήμερα.

Τι δείχνει για την εξέλιξη του upscaling και το μέλλον των ports

Το ενδιαφέρον εδώ δεν είναι μόνο το αν μια κοινότητα μπορεί να «πειράξει» ένα trailer. Είναι ότι τεχνολογίες όπως το DLSS 5 έχουν φτάσει σε σημείο όπου μπορούν να προσφέρουν ουσιώσιμες οπτικές βελτιώσεις ακόμα και σε επεξεργασμένο βίντεο. Αυτό ανοίγει συζητήσεις για το πως θα σχεδιάζονται μελλοντικά ports και remasters: αν οι upscalers γίνονται τόσο ικανοί, μήπως κάποια στιγμή οι developers θα εμπιστεύονται αυτές τις τεχνικές για να υποστηρίξουν λιγότερο ισχυρές πλατφόρμες χωρίς να θυσιάζουν το οπτικό αποτέλεσμα;

Παράλληλα, η δουλειά που γίνεται σε εργαλεία όπως το Veyra δείχνει πόσο γρήγορα η open source κοινότητα υιοθετεί και πειραματίζεται με τεχνολογίες που αρχικά εμφανίζονται ως propriety. Αυτή η δυναμική μπορεί να πιέσει για πιο γρήγορα standards και μεγαλύτερη διαθεσιμότητα τέτοιων τεχνολογιών στο μέλλον.

Τι σημαίνει για τους χρήστες

Για τον καθένα που περιμένει το GTA VI σε PC, αυτή η προσέγγιση δεν είναι λύση αντικατάστασης για ένα native port. Οι οπαδοί με τεχνική ικανότητα και εξοπλισμό μπορούν να πετύχουν εντυπωσιακά πράγματα για προβολές και trailers, αλλά για gameplay η εμπειρία πιθανότατα θα επιβαρυνθεί από latency και artefacts. Η πιο ασφαλής και ικανοποιητική διαδρομή παραμένει η επίσημη έκδοση ή εκδόσεις του παιχνιδιού που εκμεταλλεύονται πλήρως το frame data και τα εργαλεία upscaling μέσα στην engine.

Σε ευρύτερο επίπεδο, όμως, αυτό που συμβαίνει επιβεβαιώνει δύο τάσεις: πρώτον, ότι οι τεχνητές νοημοσύνες για εικόνα γίνονται ολοένα πιο χρήσιμες και προσβάσιμες, και δεύτερον, ότι η κοινότητα των παικτών δεν θα διστάσει να πειραματιστεί για να κερδίσει οπτικά και εμπειρικά πλεονεκτήματα. Ακόμα κι αν τα αποτελέσματα που βλέπουμε σήμερα είναι ατελή, αποτελούν σημαντικό βήμα προς το πόσο ρεαλιστική και ευέλικτη μπορεί να γίνει η επεξεργασία εικόνας σε πραγματικό χρόνο.