Η νέα εποχή της τεχνητής νοημοσύνης: Το κόστος της σκέψης

Οι μεγάλες γλωσσικές μοντέλες (Large Language Models – LLMs), όπως το ChatGPT, έχουν τη δυνατότητα να γράφουν εκθέσεις ή να σχεδιάζουν μενού σχεδόν ακαριαία. Ωστόσο, μέχρι πρόσφατα, ήταν εύκολο να τις “μπλοκάρουμε”. Αυτές οι μοντέλες, που βασίζονται σε γλωσσικά μοτίβα για να απαντούν στις ερωτήσεις των χρηστών, συχνά αποτύγχαναν σε μαθηματικά προβλήματα και δεν ήταν καλές στην πολύπλοκη συλλογιστική. Ξαφνικά, ωστόσο, έχουν βελτιωθεί σημαντικά σε αυτά τα πεδία.

Η νέα γενιά μοντέλων συλλογιστικής

Μια νέα γενιά LLMs, γνωστή ως μοντέλα συλλογιστικής (reasoning models), εκπαιδεύεται για να λύνει σύνθετα προβλήματα. Όπως οι άνθρωποι, χρειάζονται κάποιο χρόνο για να σκεφτούν πάνω σε τέτοιες προκλήσεις. Εντυπωσιακά, επιστήμονες από το Ινστιτούτο Ερευνών Εγκεφάλου McGovern στο MIT ανακάλυψαν ότι τα προβλήματα που απαιτούν τον μεγαλύτερο όγκο επεξεργασίας από τα μοντέλα συλλογιστικής είναι ακριβώς τα ίδια που απαιτούν χρόνο και από τους ανθρώπους. Με άλλα λόγια, όπως αναφέρεται στο περιοδικό PNAS, το “κόστος της σκέψης” για ένα μοντέλο συλλογιστικής είναι παρόμοιο με το κόστος σκέψης για έναν άνθρωπο.

Η ανθρώπινη προσέγγιση στη σκέψη

Η έρευνα, υπό την καθοδήγηση της Evelina Fedorenko, αναπληρώτριας καθηγήτριας γνωσιακών επιστημών και ερευνήτριας στο McGovern Institute, καταλήγει ότι, τουλάχιστον σε έναν σημαντικό βαθμό, τα μοντέλα συλλογιστικής έχουν μια ανθρώπινη προσέγγιση στη σκέψη. Αυτό, όπως σημειώνουν, δεν είναι αποτέλεσμα σχεδιασμού. “Οι άνθρωποι που δημιουργούν αυτά τα μοντέλα δεν ενδιαφέρονται αν λειτουργούν όπως οι άνθρωποι. Απλά θέλουν ένα σύστημα που θα αποδίδει σωστά κάτω από όλες τις συνθήκες και θα παράγει σωστές απαντήσεις,” λέει η Fedorenko. “Το γεγονός ότι υπάρχει κάποια σύγκλιση είναι πραγματικά εντυπωσιακό.”

Ο ρόλος των τεχνητών νευρωνικών δικτύων

Όπως πολλές μορφές τεχνητής νοημοσύνης, τα νέα μοντέλα συλλογιστικής είναι τεχνητά νευρωνικά δίκτυα: υπολογιστικά εργαλεία που μαθαίνουν να επεξεργάζονται πληροφορίες όταν τους παρέχεται δεδομένα και ένα πρόβλημα προς επίλυση. Τα τεχνητά νευρωνικά δίκτυα έχουν σημειώσει μεγάλη επιτυχία σε πολλές από τις εργασίες που εκτελούν καλά τα δίκτυα του εγκεφάλου — και σε ορισμένες περιπτώσεις, οι νευροεπιστήμονες έχουν ανακαλύψει ότι αυτά που αποδίδουν καλύτερα μοιράζονται ορισμένες πτυχές της επεξεργασίας πληροφοριών του εγκεφάλου. Παρόλα αυτά, ορισμένοι επιστήμονες υποστήριζαν ότι η τεχνητή νοημοσύνη δεν ήταν έτοιμη να αναλάβει πιο εξελιγμένα χαρακτηριστικά της ανθρώπινης νοημοσύνης.

Η εξέλιξη των μοντέλων συλλογιστικής

Η Fedorenko αναφέρει, “Μέχρι πρόσφατα, ήμουν από τους ανθρώπους που έλεγαν, ‘Αυτά τα μοντέλα είναι πραγματικά καλά σε πράγματα όπως η αντίληψη και η γλώσσα, αλλά θα χρειαστεί πολύς χρόνος μέχρι να έχουμε μοντέλα νευρωνικών δικτύων που μπορούν να κάνουν συλλογιστική.'” Ωστόσο, με την εμφάνιση των μεγάλων μοντέλων συλλογιστικής, φαίνεται ότι τα πράγματα έχουν αλλάξει. Αυτά τα μοντέλα αποδίδουν πολύ καλύτερα σε πολλές από αυτές τις εργασίες σκέψης, όπως η επίλυση μαθηματικών προβλημάτων και η συγγραφή κομματιών κώδικα υπολογιστών.

Η διαδικασία βήμα προς βήμα

Ο Andrea Gregor de Varda, υπότροφος στο K. Lisa Yang ICoN Center και μεταδιδακτορικός ερευνητής στο εργαστήριο της Fedorenko, εξηγεί ότι τα μοντέλα συλλογιστικής επεξεργάζονται τα προβλήματα βήμα προς βήμα. “Σε κάποιο σημείο, οι άνθρωποι συνειδητοποίησαν ότι τα μοντέλα χρειάζονται περισσότερο χώρο για να πραγματοποιήσουν τις πραγματικές υπολογιστικές πράξεις που απαιτούνται για την επίλυση σύνθετων προβλημάτων,” λέει. “Η απόδοση άρχισε να γίνεται πολύ, πολύ ισχυρότερη αν αφήσετε τα μοντέλα να σπάσουν τα προβλήματα σε μέρη.”

Η ενίσχυση μέσω εκμάθησης

Για να ενθαρρύνουν τα μοντέλα να εργάζονται μέσα από σύνθετα προβλήματα σε βήματα που οδηγούν σε σωστές λύσεις, οι μηχανικοί μπορούν να χρησιμοποιήσουν την ενισχυτική μάθηση (reinforcement learning). Κατά τη διάρκεια της εκπαίδευσής τους, τα μοντέλα ανταμείβονται για σωστές απαντήσεις και τιμωρούνται για λάθος. “Τα μοντέλα εξερευνούν το χώρο του προβλήματος μόνα τους,” λέει ο de Varda. “Οι ενέργειες που οδηγούν σε θετικές ανταμοιβές ενισχύονται, ώστε να παράγουν σωστές λύσεις πιο συχνά.”

Η ανθρώπινη και μηχανική σύγκλιση

Τα μοντέλα που εκπαιδεύονται με αυτόν τον τρόπο είναι πολύ πιο πιθανό από τους προκατόχους τους να φτάσουν στις ίδιες απαντήσεις με έναν άνθρωπο όταν τους ανατίθεται μια εργασία συλλογιστικής. Η βήμα προς βήμα επίλυση προβλημάτων σημαίνει ότι τα μοντέλα συλλογιστικής μπορεί να χρειάζονται λίγο περισσότερο χρόνο για να βρουν μια απάντηση σε σχέση με τα προηγούμενα LLMs — αλλά δεδομένου ότι οι απαντήσεις τους είναι σωστές εκεί που τα προηγούμενα μοντέλα θα είχαν αποτύχει, η αναμονή αξίζει τον κόπο.

Η σύγκριση χρόνου και tokens

Η ανάγκη των μοντέλων να αφιερώνουν χρόνο για να επεξεργαστούν σύνθετα προβλήματα ήδη υποδηλώνει μια παράλληλη σχέση με την ανθρώπινη σκέψη: αν απαιτήσετε από έναν άνθρωπο να λύσει ένα δύσκολο πρόβλημα ακαριαία, πιθανότατα θα αποτύχει επίσης. Ο de Varda ήθελε να εξετάσει αυτή τη σχέση πιο συστηματικά. Έτσι, έδωσε στα μοντέλα συλλογιστικής και σε ανθρώπινους εθελοντές το ίδιο σύνολο προβλημάτων και παρακολούθησε όχι μόνο αν έλαβαν τις σωστές απαντήσεις, αλλά και πόσος χρόνος ή προσπάθεια τους πήρε να φτάσουν εκεί.

Η διαδικασία μέτρησης

Αυτό σήμαινε τη μέτρηση του χρόνου που χρειάστηκαν οι άνθρωποι για να απαντήσουν σε κάθε ερώτηση, μέχρι το χιλιοστό του δευτερολέπτου. Για τα μοντέλα, ο de Varda χρησιμοποίησε μια διαφορετική μέτρηση. Δεν είχε νόημα να μετρηθεί ο χρόνος επεξεργασίας, καθώς αυτό εξαρτάται περισσότερο από το υλικό του υπολογιστή παρά από την προσπάθεια που καταβάλλει το μοντέλο για την επίλυση ενός προβλήματος. Έτσι, παρακολούθησε τα tokens, τα οποία αποτελούν μέρος της εσωτερικής αλυσίδας σκέψης ενός μοντέλου. “Παράγουν tokens που δεν προορίζονται για τον χρήστη να δει και να εργαστεί, αλλά απλά για να έχουν μια καταγραφή της εσωτερικής υπολογιστικής διαδικασίας που κάνουν,” εξηγεί ο de Varda. “Είναι σαν να μιλούν στους εαυτούς τους.”

Τα αποτελέσματα της έρευνας

Και οι άνθρωποι και τα μοντέλα συλλογιστικής κλήθηκαν να λύσουν επτά διαφορετικούς τύπους προβλημάτων, όπως αριθμητική αριθμητική και διαισθητική συλλογιστική. Για κάθε κατηγορία προβλημάτων, τους δόθηκαν πολλά προβλήματα. Όσο πιο δύσκολο ήταν ένα δεδομένο πρόβλημα, τόσο περισσότερο χρόνο χρειάστηκαν οι άνθρωποι για να το λύσουν — και όσο περισσότερο χρόνο χρειάστηκαν οι άνθρωποι για να λύσουν ένα πρόβλημα, τόσο περισσότερα tokens παρήγαγε ένα μοντέλο συλλογιστικής καθώς έφτανε στη δική του λύση.

Η σημασία της έρευνας

Ομοίως, οι κατηγορίες προβλημάτων που οι άνθρωποι χρειάστηκαν περισσότερο χρόνο για να λύσουν ήταν οι ίδιες κατηγορίες προβλημάτων που απαιτούσαν τα περισσότερα tokens για τα μοντέλα: τα αριθμητικά προβλήματα ήταν τα λιγότερο απαιτητικά, ενώ μια ομάδα προβλημάτων που ονομάζεται “ARC challenge”, όπου ζεύγη έγχρωμων πλεγμάτων αντιπροσωπεύουν μια μετατροπή που πρέπει να συναχθεί και στη συνέχεια να εφαρμοστεί σε ένα νέο αντικείμενο, ήταν τα πιο κοστοβόρα και για τους ανθρώπους και για τα μοντέλα.

Η σύγκλιση ανθρώπων και μοντέλων

Ο de Varda και η Fedorenko λένε ότι η εντυπωσιακή σύμπτωση στο κόστος της σκέψης δείχνει έναν τρόπο με τον οποίο τα μοντέλα συλλογιστικής σκέφτονται σαν άνθρωποι. Αυτό δεν σημαίνει ότι τα μοντέλα αναδημιουργούν την ανθρώπινη νοημοσύνη, όμως. Οι ερευνητές εξακολουθούν να θέλουν να γνωρίζουν αν τα μοντέλα χρησιμοποιούν παρόμοιες αναπαραστάσεις πληροφοριών με τον ανθρώπινο εγκέφαλο και πώς αυτές οι αναπαραστάσεις μετατρέπονται σε λύσεις προβλημάτων. Είναι επίσης περίεργοι αν τα μοντέλα θα μπορέσουν να χειριστούν προβλήματα που απαιτούν γνώση του κόσμου που δεν αναφέρεται σαφώς στα κείμενα που χρησιμοποιούνται για την εκπαίδευση των μοντέλων.

Η γλώσσα και η σκέψη

Οι ερευνητές επισημαίνουν ότι, παρόλο που τα μοντέλα συλλογιστικής δημιουργούν εσωτερικούς μονολόγους καθώς λύνουν προβλήματα, δεν χρησιμοποιούν απαραίτητα τη γλώσσα για να σκέφτονται. “Αν κοιτάξετε την έξοδο που παράγουν αυτά τα μοντέλα κατά τη διάρκεια της συλλογιστικής, συχνά περιέχει λάθη ή κάποια μη λογικά κομμάτια, ακόμη και αν το μοντέλο τελικά φτάσει σε μια σωστή απάντηση. Έτσι, οι πραγματικές εσωτερικές υπολογιστικές διαδικασίες πιθανότατα λαμβάνουν χώρα σε έναν αφηρημένο, μη γλωσσικό χώρο αναπαράστασης, παρόμοιο με το πώς οι άνθρωποι δεν χρησιμοποιούν τη γλώσσα για να σκέφτονται,” λέει.