Gelix 1: το AI chip από τη Σιγκαπούρη που αμφισβητεί το M4 Pro

Μία νεοσύστατη εταιρεία από τη Σιγκαπούρη, η Acrab, παρουσιάζει το Gelix 1, ένα AI chip σχεδιασμένο για inference τοπικών μεγάλων γλωσσικών μοντέλων (LLMs) σε μικρό αποτύπωμα. Η εταιρεία το θέτει ως αντίπαλο του M4 Pro σε επιδόσεις inference, με έμφαση στη μεγάλη χωρητικότητα context, τη μονάδα νευρωνικής επεξεργασίας και τη διαχείριση μνήμης που μοιάζει με αυτή που έκανε δημοφιλή το Mac mini για on-device AI.

Οι ισχυρισμοί της Acrab —όπως τα ρυθμισμένα bench με χιλιάδες tokens ανά δευτερόλεπτο και η δυνατότητα εκτέλεσης μοντέλων έως 100B παραμέτρων— απαιτούν προσεκτική ανάγνωση. Σε αυτό το άρθρο θα περιγράψουμε τι υπόσχεται το Gelix 1, πώς συγκρίνεται με το υπάρχον hardware, ποιες τεχνικές προκλήσεις κρύβονται πίσω από τους αριθμούς και τι πιθανές συνέπειες έχει για χρήστες και επιχειρήσεις.

Τι υπόσχεται το Gelix 1

Η βασική ιδέα πίσω από το Gelix 1 είναι να προσφέρει ισχυρό inference για LLMs σε μικρή συσκευή, συνδυάζοντας έναν 20‑core ARM CPU με μια multi‑core NPU και μία προσέγγιση unified memory. Η Acrab αναφέρει ότι το chip κατασκευάζεται σε διαδικασία 5nm και διαθέτει διάδρομο μνήμης με συνολική ταχύτητα έως 273GB/s.

Η προσέγγιση μοιάζει με αυτή που έκανε το Mac mini δημοφιλές για πειραματισμό on‑device: μικρό κουτί, αρκετή ενσωματωμένη μνήμη και υψηλές επιδόσεις χωρίς την ανάγκη πύργων ή rack servers. Η Acrab τονίζει πως το Gelix 1 έχει σχεδιαστεί για compact enclosure, με στόχο λιγότερα προβλήματα θερμικής διαχείρισης και θορύβου σε γραφείο.

Στην πράξη, αυτή η αρχιτεκτονική είναι ελκυστική για χρήστες που θέλουν να κρατούν μοντέλα και δεδομένα εντός ιδιωτικού περιβάλλοντος για λόγους latency ή απορρήτου, χωρίς να καταφεύγουν στο cloud. Ωστόσο, το «μικρό μέγεθος» δεν απαντά από μόνο του σε όλα τα προβλήματα: η πραγματική απόδοση εξαρτάται από το συνολικό σύστημα μνήμης, το software stack και την ενέργεια που απαιτείται για το sustained inference.

Benchmarks και η σύγκριση με M4 Pro

Σύμφωνα με τα στοιχεία που δημοσιοποίησε η Acrab, το Gelix 1 έφτασε σε pre‑fill rate 1.416 tokens/sec σε δοκιμή με το μοντέλο Gemma 26B και context window 40.000 tokens. Στην ίδια δοκιμή, αναφέρεται ότι το M4 Pro Mac mini σημείωσε μόλις 188 tokens/sec. Εάν οι αριθμοί αυτοί επαληθευτούν ανεξάρτητα, η διαφορά είναι σημαντική.

Ωστόσο, η πηγή αυτών των benchmark είναι η ίδια η Acrab και η DigiTimes έχει σημειώσει πως δεν έχουν γίνει ανεξάρτητες επαληθεύσεις. Τα synthetic tests συχνά τραβούν το hardware σε σενάρια που ευνοούν συγκεκριμένες ρυθμίσεις, όπως quantization, batch sizes ή optimized kernels. Επίσης, οι όροι «pre‑fill rate» και «tokens/sec» μετρούν διαφορετικές φάσεις της διαδικασίας inference και δεν αντικατοπτρίζουν πάντα την τελική latency σε πραγματικές εφαρμογές με συνεχή αλληλεπίδραση.

Επιπλέον, οι συγκρίσεις εξαρτώνται από το μοντέλο, το format του checkpoint, το πόσο καλά έχει γίνει το optimization (π.χ. χρήση INT8, BF16, ή sparsity) και από το αν έχουν ενεργοποιηθεί τεχνικές όπως memory offloading ή kernel fusion. Συνεπώς, ο ενθουσιασμός πρέπει να συνυπάρχει με σκεπτικισμό μέχρι να υπάρξουν independent audits και πιο πλήρη αποτελέσματα.

Τεχνικές λεπτομέρειες και ανοιχτά ερωτήματα

Η ανακοίνωση αναφέρει unified memory με bandwidth 273GB/s, μια παράμετρο που αν επιβεβαιώνεται είναι κρίσιμη για LLMs μεγάλου context: η ταχύτητα μεταφοράς δεδομένων ανάμεσα σε μνήμη και NPU/CPU καθορίζει πόσο ομαλά «τρέχει» ένα μεγάλο παράθυρο 40k tokens. Το γεγονός ότι η Aspac ηχεί ότι το 273GB/s «ταιριάζει» με το M4 Pro δίνει άμεση βάση για σύγκριση, αλλά δεν αρκεί από μόνη της για να κρίνει το συνολικό throughput.

Άλλο ερώτημα είναι το μέγεθος της ενσωματωμένης μνήμης. Η Acrab ισχυρίζεται ότι το chip μπορεί να υποστηρίξει έως και 128GB unified memory, κάτι που θα είναι κρίσιμο για την εκτέλεση ενός 100B μοντέλου χωρίς partitioning. Αντίθετα, το M4 Pro Mac mini έχει περιορισμό στα 48GB σε πολλές διαμορφώσεις, που του επιτρέπει να τρέχει άνετα μοντέλα ~35B αλλά δυσκολεύεται με μεγαλύτερα μοντέλα χωρίς offloading ή compression.

Η αναφορά σε έναν 20‑core ARM CPU που μοιάζει με επεξεργαστές που βρίσκονται σε συστήματα τύπου DGX Spark ή RTX Spark προκαλεί επίσης ερωτήματα. Δεν είναι σαφές αν η Acrab χρησιμοποιεί κάποιο off‑the‑shelf SoC από κατασκευαστές όπως η MediaTek ή αν πρόκειται για custom σχεδίαση. Η διαφορά έχει συνέπειες στην υποστήριξη λογισμικού, στο availability και στο κόστος παραγωγής.

Μπορεί όντως να τρέξει 100B μοντέλα τοπικά;

Η ιδέα να τρέχει κάποιος μοντέλα 100B τοπικά είναι ελκυστική αλλά τεχνικά απαιτητική. Τα μεγάλα LLMs χρειάζονται τόσο χώρο για βάρος (parameters) όσο και για περιβάλλον εκτέλεσης (activations, context). Χωρίς υψηλή μνήμη και ικανή bandwidth, η απόδοση καταρρέει ή απαιτείται εκτενές offloading που αυξάνει τη latency.

Υπάρχουν τεχνικές που μειώνουν το footprint: quantization (INT8, INT4), pruning, quantized matrix multiplication και memory‑mapped checkpoints. Επίσης, τα libraries όπως ONNX Runtime και τα optimized kernels για NPUs μπορούν να βελτιώσουν την ταχύτητα και να μειώσουν τις απαιτήσεις. Αλλά κάθε τέτοια τεχνική έχει trade‑offs στην ποιότητα (perplexity, απαντήσεις) ή σε compatibility με training checkpoints.

Επομένως, ακόμη και αν το Gelix 1 υποστηρίζει 128GB unified memory, το να «τρέχει» ένα 100B μοντέλο με πλήρη ακρίβεια και χωρίς συμβιβασμούς μένει να αποδειχθεί στο πεδίο. Πιθανό είναι ότι η Acrab εννοεί συνδυασμό τεχνικών (quantization + offloading) και συγκεκριμένων διαμορφώσεων του μοντέλου για να επιτύχει αυτό το αποτέλεσμα.

Τι σημαίνει για χρήστες και επιχειρήσεις

Αν οι ισχυρισμοί επαληθευτούν, το Gelix 1 θα αποτελέσει μια ενδιαφέρουσα εναλλακτική για εταιρείες που απαιτούν on‑premise inference: μικρότερες καθυστερήσεις σε ευαίσθητες εφαρμογές, αυξημένο απόρρητο αφού τα δεδομένα δεν φεύγουν από τον χώρο, και δυνατότητα πιο φιλόδοξων μοντέλων χωρίς άμεση εξάρτηση από cloud υποδομές.

Για ιδιώτες δημιουργούς και μικρές ομάδες που πειραματίζονται με AI agents και μεγάλα context windows, μια προσιτή, μικρού αποτυπώματος λύση μπορεί να αλλάξει την κανονική ροή ανάπτυξης. Όμως, το κρίσιμο κομμάτι θα είναι το software ecosystem: υποστήριξη για PyTorch/ONNX, drivers για την NPU, εργαλεία για quantization και compatibility με υπάρχοντα checkpoints.

Τέλος, η τιμή και η διαθεσιμότητα θα καθορίσουν την επίδραση. Αν η αγορά στρέφεται σε λύσεις που προσφέρουν 100B μοντέλα τοπικά, οι απαιτήσεις για υποστήριξη, υπηρεσίες και security θα δημιουργήσουν νέα αγορά για λογισμικό, updates και maintenance. Αντιθέτως, αν το κόστος παραμείνει υψηλό, οι περισσότεροι χρήστες θα προτιμήσουν cloud‑based inference με pay‑as‑you‑go οικονομικά μοντέλα.

Συνολικά, το Gelix 1 είναι ένα ενδιαφέρον βήμα στην τάση του edge AI και των συσκευών μικρού αποτυπώματος που φιλοδοξούν να φέρουν περισσότερη επεξεργασία στην άκρη του δικτύου. Οι μεγάλες υποσχέσεις απαιτούν ανεξάρτητες δοκιμές, ανοικτά benchmarks και σαφή πληροφόρηση για τιμή και οικοσύστημα πριν κριθούν ως game changer.