Η NVIDIA Σπάει Ταχύτητες Ρεκόρ Με Blackwell GPUs

Η νέα εποχή της AI από την NVIDIA

Η NVIDIA έχει προχωρήσει σε μια σημαντική αποκάλυψη στον τομέα της τεχνητής νοημοσύνης, καταφέρνοντας να ξεπεράσει τα όρια απόδοσης με την αρχιτεκτονική Blackwell. Αυτό το επίτευγμα είναι αποτέλεσμα μιας σειράς βελτιστοποιήσεων και της ισχύος του υλικού, φέρνοντας την εταιρεία στην κορυφή της τεχνολογικής καινοτομίας.

Επιτάχυνση στην παραγωγή “Token Generation”

Η ομάδα της NVIDIA, γνωστή και ως Team Green, έχει κάνει σημαντικά βήματα στον τομέα της AI, αλλά η πρόσφατη πρόοδος με τις λύσεις που βασίζονται στην αρχιτεκτονική Blackwell είναι εντυπωσιακή. Σε μια νέα ανάρτηση στο blog της, η NVIDIA αποκάλυψε ότι πέτυχε 1.000 TPS με ένα μόνο κόμβο DGX B200 που διαθέτει οκτώ Blackwell GPUs. Αυτό επιτεύχθηκε σε συνεργασία με το μοντέλο Llama 4 Maverick της Meta, το οποίο διαθέτει 400 δισεκατομμύρια παραμέτρους και αποτελεί μία από τις μεγαλύτερες προτάσεις της εταιρείας. Αυτή η εξέλιξη δείχνει τη σημαντική επίδραση που έχει το οικοσύστημα AI της NVIDIA στον τομέα.

Η στρατηγική πίσω από την επιτυχία

Με αυτή τη διαμόρφωση, η NVIDIA μπορεί πλέον να επιτύχει έως και 72.000 TPS σε έναν διακομιστή Blackwell. Όπως ανέφερε ο Jensen στην κεντρική ομιλία του στο Computex, οι εταιρείες θα επιδεικνύουν την πρόοδο τους στην AI παρουσιάζοντας την απόδοση των tokens μέσω του υλικού τους. Η NVIDIA φαίνεται να επικεντρώνεται πλήρως σε αυτό το κομμάτι. Για να σπάσει τα όρια των TPS, η εταιρεία χρησιμοποίησε εκτεταμένες βελτιστοποιήσεις λογισμικού με το TensorRT-LLM και ένα μοντέλο προσχεδίου αποκωδικοποίησης, επιτυγχάνοντας τετραπλάσια αύξηση της απόδοσης.

Η τεχνική της “speculative decoding”

Η speculative decoding είναι μια τεχνική που επιταχύνει την ταχύτητα επεξεργασίας των μεγάλων γλωσσικών μοντέλων (LLMs) χωρίς να μειώνει την ποιότητα του παραγόμενου κειμένου. Αυτό επιτυγχάνεται με τη χρήση ενός μικρότερου, ταχύτερου μοντέλου “προσχεδίου” που προβλέπει μια ακολουθία πιθανών tokens, τα οποία στη συνέχεια επαληθεύονται παράλληλα από το μεγαλύτερο “στόχο” LLM. Η ταχύτητα αυξάνεται με τη δημιουργία πολλαπλών tokens σε μία επανάληψη του μοντέλου στόχου, αν και αυτό απαιτεί επιπλέον φόρτο από το μοντέλο προσχεδίου.

Η speculative decoding είναι μια δημοφιλής τεχνική που χρησιμοποιείται για την επιτάχυνση της ταχύτητας επεξεργασίας των LLMs χωρίς να υποβαθμίζεται η ποιότητα του παραγόμενου κειμένου. Αυτή η τεχνική επιτυγχάνει τον στόχο της με τη χρήση ενός μικρότερου, ταχύτερου μοντέλου “προσχεδίου” που προβλέπει μια ακολουθία πιθανών tokens, τα οποία στη συνέχεια επαληθεύονται παράλληλα από το μεγαλύτερο “στόχο” LLM.

– NVIDIA

Η αρχιτεκτονική EAGLE3

Η NVIDIA χρησιμοποίησε μια αρχιτεκτονική βασισμένη στο EAGLE3, η οποία είναι μια αρχιτεκτονική σε επίπεδο λογισμικού που στοχεύει στην επιτάχυνση της επεξεργασίας μεγάλων γλωσσικών μοντέλων, και όχι μια αρχιτεκτονική υλικού GPU. Η NVIDIA δηλώνει ότι με αυτό το επίτευγμα, έχει δείξει την ηγεσία της στον τομέα της AI, και το Blackwell είναι πλέον βελτιστοποιημένο για LLMs τόσο μεγάλα όσο το Llama 4 Maverick. Πρόκειται αναμφίβολα για μια τεράστια επιτυχία και ένα από τα πρώτα βήματα προς τη δημιουργία πιο ομαλών και γρήγορων AI αλληλεπιδράσεων.