Επιτάχυνση της Απόδοσης Αποθήκευσης AI με RDMA για S3

Η ανάγκη για αποδοτική αποθήκευση στην εποχή της AI

Στη σημερινή εποχή, οι εφαρμογές τεχνητής νοημοσύνης (AI) είναι πιο απαιτητικές από ποτέ σε ό,τι αφορά τα δεδομένα, απαιτώντας αποθηκευτικούς χώρους που είναι ταυτόχρονα επεκτάσιμοι και οικονομικά προσιτοί. Μέχρι το 2028, εκτιμάται ότι οι επιχειρήσεις θα παράγουν σχεδόν 400 ζεταμπάιτ δεδομένων ετησίως, με το 90% αυτών να είναι αδόμητα, περιλαμβάνοντας ήχο, βίντεο, PDF, εικόνες και περισσότερα.

Η τεράστια αυτή κλίμακα, σε συνδυασμό με την ανάγκη για φορητότητα δεδομένων μεταξύ τοπικών υποδομών και του cloud, ωθεί τη βιομηχανία AI να εξετάσει νέες επιλογές αποθήκευσης.

Τι είναι το RDMA για αποθήκευση συμβατή με S3;

Εδώ εισέρχεται το RDMA για αποθήκευση συμβατή με S3 — το οποίο χρησιμοποιεί απομακρυσμένη άμεση πρόσβαση στη μνήμη (RDMA) για να επιταχύνει το S3-API-based πρωτόκολλο αποθήκευσης και είναι βελτιστοποιημένο για δεδομένα και εργασίες AI. Η αποθήκευση αντικειμένων χρησιμοποιείται εδώ και καιρό ως μια πιο οικονομική επιλογή για εφαρμογές όπως αρχειοθέτηση, backup, data lakes και αρχεία καταγραφής δραστηριότητας, που δεν απαιτούσαν την ταχύτερη απόδοση. Ωστόσο, οι πελάτες που ήδη χρησιμοποιούν αποθήκευση αντικειμένων για εκπαίδευση AI ζητούν μεγαλύτερη απόδοση για τον ταχύτατο κόσμο της AI.

Η σημασία της επιτάχυνσης δεδομένων με RDMA

Αυτή η λύση, που ενσωματώνει τη δικτύωση της NVIDIA, προσφέρει ταχύτερη και πιο αποδοτική αποθήκευση αντικειμένων χρησιμοποιώντας RDMA για μεταφορές δεδομένων αντικειμένων. Για τους πελάτες, αυτό μεταφράζεται σε μεγαλύτερη διαμετακόμιση δεδομένων ανά τεραμπάιτ αποθήκευσης, υψηλότερη διαμετακόμιση ανά watt, χαμηλότερο κόστος ανά τεραμπάιτ και σημαντικά χαμηλότερες καθυστερήσεις σε σύγκριση με το TCP, το παραδοσιακό πρωτόκολλο μεταφοράς δικτύου για αποθήκευση αντικειμένων.

Οικονομικά και τεχνολογικά οφέλη

Τα οικονομικά οφέλη είναι προφανή: οι τελικοί χρήστες μπορούν να μειώσουν το κόστος της αποθήκευσης AI, διευκολύνοντας έτσι την έγκριση και την υλοποίηση των έργων τους. Η φορητότητα των φορτίων εργασίας επιτρέπει στους πελάτες να εκτελούν τις εργασίες AI τους αμετάβλητες τόσο στις τοπικές εγκαταστάσεις όσο και σε περιβάλλοντα παρόχων υπηρεσιών cloud και neocloud, χρησιμοποιώντας ένα κοινό API αποθήκευσης.

Η επιτάχυνση της αποθήκευσης παρέχει ταχύτερη πρόσβαση στα δεδομένα και απόδοση για εκπαίδευση και επαλήθευση AI — συμπεριλαμβανομένων βάσεων δεδομένων vector και αποθήκευσης cache key-value για επαλήθευση σε εργοστάσια AI. Οι λύσεις πλατφόρμας δεδομένων AI αποκτούν ταχύτερη πρόσβαση στην αποθήκευση αντικειμένων και περισσότερα μεταδεδομένα για καταλογισμό και ανάκτηση περιεχομένου.

Επιπλέον, η χρήση του RDMA για αποθήκευση συμβατή με S3 δεν χρησιμοποιεί τον κεντρικό επεξεργαστή (CPU) για μεταφορά δεδομένων, αφήνοντας αυτόν τον κρίσιμο πόρο διαθέσιμο για την παροχή αξίας AI στους πελάτες.

Η τεχνολογία πίσω από το RDMA για S3

Η NVIDIA έχει αναπτύξει βιβλιοθήκες πελατών και διακομιστών RDMA για την επιτάχυνση της αποθήκευσης αντικειμένων. Οι συνεργάτες αποθήκευσης έχουν ενσωματώσει αυτές τις βιβλιοθήκες διακομιστών στις λύσεις αποθήκευσής τους για να επιτρέψουν τη μεταφορά δεδομένων RDMA για αποθήκευση αντικειμένων S3-API, οδηγώντας σε ταχύτερες μεταφορές δεδομένων και υψηλότερη αποδοτικότητα για φορτία εργασίας AI.

Οι βιβλιοθήκες πελατών για αποθήκευση συμβατή με RDMA για S3 εκτελούνται σε κόμβους υπολογισμού GPU AI. Αυτό επιτρέπει στα φορτία εργασίας AI να αποκτούν πρόσβαση στα δεδομένα αποθήκευσης αντικειμένων πολύ πιο γρήγορα από την παραδοσιακή πρόσβαση TCP, βελτιώνοντας την απόδοση των φορτίων εργασίας AI και τη χρήση των GPU.

Ανοικτή αρχιτεκτονική και συνεργασίες

Αν και οι αρχικές βιβλιοθήκες είναι βελτιστοποιημένες για τις GPU και τη δικτύωση της NVIDIA, η ίδια η αρχιτεκτονική είναι ανοικτή, επιτρέποντας σε άλλους κατασκευαστές και πελάτες να συνεισφέρουν στις βιβλιοθήκες πελατών και να τις ενσωματώσουν στο λογισμικό τους. Μπορούν επίσης να αναπτύξουν το δικό τους λογισμικό για να υποστηρίξουν και να χρησιμοποιήσουν τα API αποθήκευσης συμβατά με RDMA για S3.

Τυποποίηση, διαθεσιμότητα και υιοθέτηση

Η NVIDIA συνεργάζεται με εταίρους για την τυποποίηση του RDMA για αποθήκευση συμβατή με S3. Αρκετοί σημαντικοί εταίροι αποθήκευσης αντικειμένων υιοθετούν ήδη τη νέα τεχνολογία. Η Cloudian, η Dell Technologies και η HPE ενσωματώνουν τις βιβλιοθήκες RDMA για S3-compatible στις λύσεις αποθήκευσης υψηλής απόδοσης: Cloudian HyperStore, Dell ObjectScale και HPE Alletra Storage MP X10000.

Ο Jon Toor, επικεφαλής μάρκετινγκ της Cloudian, δήλωσε: “Η αποθήκευση αντικειμένων είναι το μέλλον της επεκτάσιμης διαχείρισης δεδομένων για την AI. Η Cloudian ηγείται των προσπαθειών με τη NVIDIA για την τυποποίηση του RDMA για αποθήκευση συμβατή με S3, που επιτρέπει ταχύτερη, πιο αποδοτική αποθήκευση αντικειμένων, βοηθώντας στην κλιμάκωση των λύσεων AI και στη μείωση του κόστους αποθήκευσης. Η τυποποίηση και η συμβατότητα της Cloudian με το S3-API θα φέρουν άμεσα κλιμάκωση και απόδοση σε χιλιάδες υπάρχουσες S3-based εφαρμογές και εργαλεία, τόσο στις εγκαταστάσεις όσο και στο cloud.”

Ο Rajesh Rajaraman, επικεφαλής τεχνολογίας και αντιπρόεδρος της Dell Technologies Storage, δήλωσε: “Οι AI εργασίες απαιτούν απόδοση αποθήκευσης σε κλίμακα με χιλιάδες GPU που διαβάζουν ή γράφουν δεδομένα ταυτόχρονα, και οι επιχειρήσεις με πολλαπλά εργοστάσια AI — τόσο στις εγκαταστάσεις όσο και στο cloud — επιθυμούν φορητότητα φορτίων εργασίας AI για αντικείμενα. Η Dell Technologies συνεργάστηκε με τη NVIDIA για να ενσωματώσει την επιτάχυνση αποθήκευσης συμβατή με RDMA για S3 στο Dell ObjectScale, αποθήκευση αντικειμένων που παρέχει ασύγκριτη κλιμάκωση, απόδοση και δραματικά χαμηλότερη καθυστέρηση με end-to-end RDMA. Η τελευταία ενημέρωση λογισμικού Dell ObjectScale θα προσφέρει άριστη βάση αποθήκευσης για εργοστάσια AI και πλατφόρμες δεδομένων AI.”

Ο Jim O’Dorisio, ανώτερος αντιπρόεδρος και γενικός διευθυντής αποθήκευσης στην HPE, δήλωσε: “Καθώς οι εργασίες AI συνεχίζουν να αυξάνονται σε κλίμακα και ένταση, οι καινοτομίες της NVIDIA στο RDMA για APIs αποθήκευσης συμβατά με S3 και στις βιβλιοθήκες επαναπροσδιορίζουν τον τρόπο μετακίνησης δεδομένων σε μαζική κλίμακα. Συνεργαζόμενοι στενά με τη NVIDIA, η HPE έχει αναπτύξει μια λύση που επιταχύνει τη διαμετακόμιση, μειώνει την καθυστέρηση και μειώνει το συνολικό κόστος ιδιοκτησίας. Με τις δυνατότητες αποθήκευσης συμβατές με RDMA για S3 τώρα ενσωματωμένες στο HPE Alletra Storage MP X10000, επεκτείνουμε την ηγεσία μας σε έξυπνη, επεκτάσιμη αποθήκευση για αδόμητα και AI-driven φορτία εργασίας.”

Οι βιβλιοθήκες RDMA για αποθήκευση συμβατή με S3 της NVIDIA είναι τώρα διαθέσιμες σε επιλεγμένους συνεργάτες και αναμένεται να είναι γενικά διαθέσιμες μέσω του NVIDIA CUDA Toolkit τον Ιανουάριο. Επίσης, μάθετε περισσότερα για τη νέα Πιστοποίηση Αποθήκευσης Αντικειμένων της NVIDIA, μέρος του NVIDIA-Certified Storage program.