Chatbots & Virtual Agents
Βελτιώνοντας τα μικρά γλωσσικά μοντέλα στην επίλυση σύνθετων προβλημάτων
Το MIT αναπτύσσει το DisCIPL, μια συνεργατική προσέγγιση που επιτρέπει σε μικρά γλωσσικά μοντέλα να επιλύουν σύνθετα προβλήματα με ακρίβεια.
Καθώς τα γλωσσικά μοντέλα (Language Models ή LMs) βελτιώνονται σε εργασίες όπως η δημιουργία εικόνων, η απάντηση σε ερωτήσεις γνώσεων και οι απλές μαθηματικές πράξεις, ίσως νομίζετε ότι η ανθρώπινη λογική είναι κοντά. Ωστόσο, η πραγματικότητα είναι διαφορετική, καθώς τα μοντέλα αυτά απέχουν πολύ από το να ανταγωνιστούν τον άνθρωπο σε σύνθετες εργασίες. Για παράδειγμα, παίξτε Sudoku με ένα τέτοιο μοντέλο και θα διαπιστώσετε ότι είτε αποτυγχάνει να συμπληρώσει τα κουτιά από μόνο του είτε το κάνει με αναποτελεσματικό τρόπο, παρόλο που μπορεί να επιβεβαιώσει αν έχετε συμπληρώσει σωστά τα δικά σας.
Οι προκλήσεις των γλωσσικών μοντέλων
Όταν ένα γλωσσικό μοντέλο προσπαθεί να λύσει προχωρημένα παζλ, να σχεδιάσει μόρια ή να γράψει αποδείξεις μαθηματικών, συναντά δυσκολίες στην απάντηση ανοιχτών αιτημάτων που έχουν αυστηρούς κανόνες. Το σύστημα είναι καλύτερο στο να καθοδηγεί τους χρήστες για το πώς να προσεγγίσουν αυτές τις προκλήσεις, παρά να τις επιλύει το ίδιο. Επιπλέον, η πρακτική επίλυση προβλημάτων απαιτεί από τα LMs να εξετάζουν μια ευρεία γκάμα επιλογών, ενώ ακολουθούν περιορισμούς. Τα μικρά LMs δεν μπορούν να το κάνουν αυτό αξιόπιστα από μόνα τους. Τα μεγάλα γλωσσικά μοντέλα (LLMs), ιδιαίτερα όταν είναι βελτιστοποιημένα για λογικές εργασίες, μπορούν να το πετύχουν, αλλά χρειάζονται χρόνο και καταναλώνουν πολλή υπολογιστική ισχύ.
Η προσέγγιση του MIT: Συνεργασία αντί για ανταγωνισμό
Αυτή η κατάσταση οδήγησε ερευνητές από το Εργαστήριο Επιστήμης Υπολογιστών και Τεχνητής Νοημοσύνης του MIT (CSAIL) να αναπτύξουν μια συνεργατική προσέγγιση, όπου ένα μεγάλο γλωσσικό μοντέλο αναλαμβάνει τον σχεδιασμό και στη συνέχεια διανέμει το έργο της στρατηγικής σε μικρότερα μοντέλα. Η μέθοδός τους βοηθά τα μικρά LMs να παρέχουν πιο ακριβείς απαντήσεις από τα κορυφαία LLMs, όπως το GPT-4o της OpenAI, και να προσεγγίζουν την ακρίβεια των κορυφαίων συστημάτων λογικής όπως το o1, ενώ είναι πιο αποδοτικά από αυτά. Το πλαίσιο τους, που ονομάζεται “DisCIPL” (Distributional Constraints by Inference Programming with Language Models), επιτρέπει σε ένα μεγάλο μοντέλο να κατευθύνει μικρότερα “follower” μοντέλα προς ακριβείς απαντήσεις όταν γράφουν κείμενα, λίστες με προϋπολογισμούς ή ταξιδιωτικά προγράμματα.
Πώς λειτουργεί το DisCIPL
Η λειτουργία του DisCIPL μοιάζει με την ανάθεση μιας εργασίας σε μια εταιρεία. Δίνετε σε ένα “αφεντικό” μοντέλο μια αίτηση και αυτό εξετάζει προσεκτικά πώς να την εκτελέσει. Στη συνέχεια, το μεγάλο γλωσσικό μοντέλο μεταφέρει αυτές τις οδηγίες και κατευθυντήριες γραμμές με σαφήνεια σε μικρότερα μοντέλα. Διορθώνει τις απαντήσεις των follower LMs όπου χρειάζεται —για παράδειγμα, αντικαθιστώντας τη διατύπωση ενός μοντέλου που δεν ταιριάζει σε ένα ποίημα με μια καλύτερη επιλογή από άλλο μοντέλο.
Η γλώσσα προγραμματισμού LLaMPPL
Το LLM επικοινωνεί με τους followers του χρησιμοποιώντας μια γλώσσα που όλοι καταλαβαίνουν —δηλαδή, μια γλώσσα προγραμματισμού για τον έλεγχο των LMs που ονομάζεται “LLaMPPL”. Αναπτύχθηκε από το Ερευνητικό Πρόγραμμα Πιθανολογικού Υπολογισμού του MIT το 2023 και επιτρέπει στους χρήστες να κωδικοποιούν συγκεκριμένους κανόνες που καθοδηγούν ένα μοντέλο προς το επιθυμητό αποτέλεσμα. Για παράδειγμα, το LLaMPPL μπορεί να χρησιμοποιηθεί για την παραγωγή κώδικα χωρίς σφάλματα, ενσωματώνοντας τους κανόνες μιας συγκεκριμένης γλώσσας μέσα στις οδηγίες του. Οδηγίες όπως “γράψε οκτώ γραμμές ποίησης όπου κάθε γραμμή έχει ακριβώς οκτώ λέξεις” κωδικοποιούνται στο LLaMPPL, καθοδηγώντας τα μικρότερα μοντέλα να συμβάλλουν σε διαφορετικά μέρη της απάντησης.
Γιατί έχει σημασία
Η προσέγγιση του MIT προσφέρει σημαντικά πλεονεκτήματα όσον αφορά την αποδοτικότητα και την ακρίβεια. Το DisCIPL επιτρέπει την παράλληλη λειτουργία δεκάδων μικρών μοντέλων Llama, τα οποία είναι 1.000 έως 10.000 φορές φθηνότερα ανά λέξη από τα συγκρίσιμα μοντέλα λογικής. Αυτή η δυνατότητα κάνει το σύστημα πιο “κλιμακωτό” και οικονομικά βιώσιμο, μειώνοντας το κόστος και τον χρόνο επεξεργασίας.
Επιπλέον, το DisCIPL προσφέρει ευκαιρίες για μεγαλύτερη διαφάνεια, ερμηνευσιμότητα και έλεγχο των αποτελεσμάτων των μοντέλων, γεγονός που αποτελεί ακόμα ένα μεγάλο ανοιχτό ζήτημα στην εφαρμογή αυτών των τεχνολογιών. Η δυνατότητα συνδυασμού των πλεονεκτημάτων των μικρών μοντέλων δείχνει ότι δεν είναι απαραίτητο να βασιζόμαστε αποκλειστικά στα μεγάλα LLMs για την επίλυση σύνθετων προβλημάτων, κάτι που μπορεί να αλλάξει τον τρόπο με τον οποίο προσεγγίζουμε την ανάπτυξη και χρήση των γλωσσικών μοντέλων στο μέλλον.
