Η επανάσταση της εκπαίδευσης μέσω AI
Η ιδέα των «AI tutors» έχει κεντρίσει το ενδιαφέρον ως μια πιθανή επανάσταση στον τομέα της εκπαίδευσης. Τα εργαλεία γενετικής τεχνητής νοημοσύνης, όπως το ChatGPT, υπόσχονται να προσαρμόζονται σε οποιοδήποτε στυλ διδασκαλίας ορίσει ο εκπαιδευτικός. Αυτά τα εργαλεία μπορούν να καθοδηγούν τους μαθητές βήμα προς βήμα μέσα από προβλήματα, παρέχοντας υποδείξεις χωρίς να αποκαλύπτουν τις απαντήσεις. Επιπλέον, μπορούν να προσφέρουν άμεση και ακριβή ανατροφοδότηση, προσαρμοσμένη στις ατομικές ανάγκες μάθησης του κάθε μαθητή.
Παρά τον ενθουσιασμό, η έρευνα σχετικά με το πώς αποδίδει η τεχνητή νοημοσύνη σε εκπαιδευτικά περιβάλλοντα, ειδικά σε δομημένα πανεπιστημιακά μαθήματα, είναι περιορισμένη. Στη νέα μας μελέτη, αναπτύξαμε το δικό μας εργαλείο AI για ένα πανεπιστημιακό μάθημα νομικής. Θέλαμε να εξετάσουμε αν μπορεί πραγματικά να υποστηρίξει την εξατομικευμένη μάθηση ή αν οι προσδοκίες μας είναι υπερβολικές.
Η μελέτη μας
Το 2022, αναπτύξαμε το SmartTest, ένα προσαρμόσιμο εκπαιδευτικό chatbot, ως μέρος ενός ευρύτερου έργου για τη δημοκρατικοποίηση της πρόσβασης σε εργαλεία AI στην εκπαίδευση. Σε αντίθεση με τα γενικά chatbots, το SmartTest είναι ειδικά σχεδιασμένο για εκπαιδευτικούς, επιτρέποντάς τους να ενσωματώνουν ερωτήσεις, πρότυπες απαντήσεις και προτροπές. Αυτό σημαίνει ότι το chatbot μπορεί να θέτει σχετικές ερωτήσεις, να παρέχει ακριβή και συνεπή ανατροφοδότηση και να μειώνει τις «παραισθήσεις» ή τα λάθη. Το SmartTest είναι επίσης προγραμματισμένο να χρησιμοποιεί τη Σωκρατική μέθοδο, ενθαρρύνοντας τους μαθητές να σκέφτονται, αντί να τους δίνει έτοιμες απαντήσεις.
Δοκιμάσαμε το SmartTest σε πέντε κύκλους δοκιμών σε ένα μάθημα ποινικού δικαίου στο Πανεπιστήμιο του Wollongong το 2023. Κάθε κύκλος εισήγαγε διαφορετικά επίπεδα πολυπλοκότητας. Οι πρώτοι τρεις κύκλοι χρησιμοποίησαν σύντομα υποθετικά σενάρια ποινικού δικαίου, ενώ οι τελευταίοι δύο κύκλοι χρησιμοποίησαν απλές ερωτήσεις σύντομης απάντησης.
Κατά μέσο όρο, 35 φοιτητές αλληλεπίδρασαν με το SmartTest σε κάθε κύκλο, σε διάφορα σεμινάρια ποινικού δικαίου. Η συμμετοχή ήταν εθελοντική και ανώνυμη, με τους φοιτητές να αλληλεπιδρούν με το SmartTest στις δικές τους συσκευές για έως και δέκα λεπτά ανά συνεδρία. Οι συνομιλίες των φοιτητών με το SmartTest – οι προσπάθειές τους να απαντήσουν στην ερώτηση και η άμεση ανατροφοδότηση που έλαβαν από το chatbot – καταγράφηκαν στη βάση δεδομένων μας.
Ανακαλύψεις και προκλήσεις
Το SmartTest έδειξε δυνατότητες στην καθοδήγηση των φοιτητών και στην αναγνώριση των κενών κατανόησής τους. Ωστόσο, στους πρώτους τρεις κύκλους, μεταξύ 40% και 54% των συνομιλιών περιείχαν τουλάχιστον ένα παράδειγμα ανακριβούς ή παραπλανητικής ανατροφοδότησης.
Όταν μεταβήκαμε σε απλούστερη μορφή ερωτήσεων σύντομης απάντησης στους κύκλους τέσσερα και πέντε, το ποσοστό λαθών μειώθηκε σημαντικά σε 6% έως 27%. Παρόλα αυτά, ακόμη και σε αυτούς τους κύκλους με τις καλύτερες επιδόσεις, ορισμένα λάθη παρέμεναν. Για παράδειγμα, το SmartTest κάποιες φορές επιβεβαίωνε μια λανθασμένη απάντηση πριν παρέχει τη σωστή, γεγονός που ενέχει κίνδυνο σύγχυσης των φοιτητών.
Μια σημαντική αποκάλυψη ήταν η τεράστια προσπάθεια που απαιτήθηκε για να λειτουργήσει το chatbot αποτελεσματικά στις δοκιμές μας. Αντί να αποτελεί μια λύση εξοικονόμησης χρόνου, η ενσωμάτωση του SmartTest απαιτούσε σχολαστική προετοιμασία και αυστηρές χειροκίνητες αξιολογήσεις από τους εκπαιδευτικούς. Αυτή η παραδοξότητα – όπου ένα εργαλείο που προωθείται ως εξοικονόμηση εργασίας απαιτεί σημαντική εργασία – θέτει υπό αμφισβήτηση τα πρακτικά οφέλη του για ήδη πιεσμένους χρονικά εκπαιδευτικούς.
Η ασυνέπεια ως βασικό πρόβλημα
Η συμπεριφορά του SmartTest ήταν επίσης απρόβλεπτη. Υπό πανομοιότυπες συνθήκες, άλλοτε προσέφερε εξαιρετική ανατροφοδότηση και άλλοτε παρείχε λανθασμένες, συγκεχυμένες ή παραπλανητικές πληροφορίες. Για ένα εκπαιδευτικό εργαλείο που έχει ως στόχο να υποστηρίξει τη μάθηση των φοιτητών, αυτό εγείρει σοβαρές ανησυχίες για την αξιοπιστία και την εμπιστοσύνη.
Για να αξιολογήσουμε αν τα νεότερα μοντέλα βελτίωσαν την απόδοση, αντικαταστήσαμε την υποκείμενη γενετική AI που τροφοδοτεί το SmartTest (ChatGPT-4) με νεότερα μοντέλα, όπως το ChatGPT-4.5, που κυκλοφόρησε το 2025. Δοκιμάσαμε αυτά τα μοντέλα επαναλαμβάνοντας περιπτώσεις όπου το SmartTest παρείχε κακή ανατροφοδότηση στους φοιτητές στη μελέτη μας. Τα νεότερα μοντέλα δεν υπερείχαν σταθερά των παλαιότερων. Κάποιες φορές, οι απαντήσεις τους ήταν ακόμη λιγότερο ακριβείς ή χρήσιμες από εκπαιδευτική άποψη. Έτσι, τα νεότερα και πιο προηγμένα μοντέλα AI δεν μεταφράζονται αυτόματα σε καλύτερα εκπαιδευτικά αποτελέσματα.
Τι σημαίνει αυτό για φοιτητές και εκπαιδευτικούς;
Οι επιπτώσεις για τους φοιτητές και το πανεπιστημιακό προσωπικό είναι ανάμεικτες. Η γενετική AI μπορεί να υποστηρίξει δραστηριότητες μάθησης χαμηλού ρίσκου. Αλλά στη μελέτη μας, δεν μπορούσε να παρέχει την αξιοπιστία, την ευαισθησία και το βάθος γνώσεων που απαιτούνται για πολλά εκπαιδευτικά περιβάλλοντα.
Από την άλλη πλευρά, τα αποτελέσματα της έρευνάς μας έδειξαν ότι οι φοιτητές εκτίμησαν την άμεση ανατροφοδότηση και τον συνομιλητικό τόνο του SmartTest. Κάποιοι ανέφεραν ότι μείωσε το άγχος και τους έκανε πιο άνετους να εκφράζουν αβεβαιότητα. Ωστόσο, αυτό το όφελος συνοδευόταν από μια παγίδα: οι λανθασμένες ή παραπλανητικές απαντήσεις θα μπορούσαν εξίσου εύκολα να ενισχύσουν τις παρεξηγήσεις όσο και να τις διευκρινίσουν
