Η νέα προσέγγιση εκπαίδευσης AI που ανατρέπει τα δεδομένα

Η πρόκληση της εκπαίδευσης ρομπότ σε διαφορετικά περιβάλλοντα

Φανταστείτε ένα οικιακό ρομπότ που έχει εκπαιδευτεί σε εργοστάσιο για να εκτελεί καθημερινές εργασίες, όπως το καθάρισμα του νεροχύτη ή το άδειασμα των σκουπιδιών. Όταν όμως το ρομπότ αυτό μεταφερθεί στην κουζίνα ενός χρήστη, μπορεί να αποτύχει να εκτελέσει αυτές τις εργασίες αποτελεσματικά, καθώς το νέο περιβάλλον διαφέρει από το χώρο εκπαίδευσής του. Για να αποφευχθεί αυτό, οι μηχανικοί συχνά προσπαθούν να προσομοιώσουν το περιβάλλον εκπαίδευσης όσο το δυνατόν πιο κοντά στην πραγματικότητα όπου θα λειτουργήσει το ρομπότ.

Η ανατροπή της συμβατικής σοφίας

Ωστόσο, ερευνητές από το MIT και άλλους οργανισμούς ανακάλυψαν ότι, παρά τη συμβατική σοφία, η εκπαίδευση σε ένα εντελώς διαφορετικό περιβάλλον μπορεί να οδηγήσει σε καλύτερες επιδόσεις για έναν πράκτορα τεχνητής νοημοσύνης. Τα αποτελέσματά τους δείχνουν ότι, σε ορισμένες περιπτώσεις, η εκπαίδευση ενός προσομοιωμένου πράκτορα AI σε έναν κόσμο με λιγότερη αβεβαιότητα, ή “θόρυβο”, του επιτρέπει να αποδίδει καλύτερα από έναν ανταγωνιστικό πράκτορα AI που εκπαιδεύτηκε στον ίδιο θορυβώδη κόσμο όπου δοκιμάστηκαν και οι δύο πράκτορες.

Το φαινόμενο της εσωτερικής εκπαίδευσης

Οι ερευνητές ονομάζουν αυτό το απροσδόκητο φαινόμενο “φαινόμενο της εσωτερικής εκπαίδευσης”. Όπως εξηγεί η Serena Bono, ερευνήτρια στο MIT Media Lab και κύρια συγγραφέας μιας μελέτης για το φαινόμενο αυτό, “αν μάθουμε να παίζουμε τένις σε ένα εσωτερικό περιβάλλον χωρίς θόρυβο, ίσως μπορέσουμε να κατακτήσουμε πιο εύκολα διαφορετικά χτυπήματα. Στη συνέχεια, αν μεταφερθούμε σε ένα πιο θορυβώδες περιβάλλον, όπως ένα γήπεδο τένις με αέρα, θα έχουμε μεγαλύτερη πιθανότητα να παίξουμε καλά από ό,τι αν είχαμε ξεκινήσει να μαθαίνουμε στο θορυβώδες περιβάλλον.”

Εκπαιδεύοντας AI πράκτορες στα Atari

Οι ερευνητές μελέτησαν αυτό το φαινόμενο εκπαιδεύοντας πράκτορες AI να παίζουν παιχνίδια Atari, τα οποία τροποποίησαν προσθέτοντας κάποια απροσδιοριστία. Έμειναν έκπληκτοι όταν διαπίστωσαν ότι το φαινόμενο της εσωτερικής εκπαίδευσης εμφανιζόταν σταθερά σε όλα τα παιχνίδια Atari και τις παραλλαγές τους. Ελπίζουν ότι αυτά τα αποτελέσματα θα ενθαρρύνουν περαιτέρω έρευνες για την ανάπτυξη καλύτερων μεθόδων εκπαίδευσης για πράκτορες AI.

Αναζητώντας νέες προσεγγίσεις εκπαίδευσης

“Αυτή είναι μια εντελώς νέα διάσταση για να σκεφτούμε,” προσθέτει ο Spandan Madan, μεταπτυχιακός φοιτητής στο Πανεπιστήμιο Harvard και συν-συγγραφέας της μελέτης. “Αντί να προσπαθούμε να ταιριάξουμε τα περιβάλλοντα εκπαίδευσης και δοκιμών, ίσως μπορέσουμε να κατασκευάσουμε προσομοιωμένα περιβάλλοντα όπου ένας πράκτορας AI μαθαίνει ακόμα καλύτερα.”

Η πρόκληση της ενίσχυσης της μάθησης

Οι ερευνητές ξεκίνησαν να εξερευνήσουν γιατί οι πράκτορες ενισχυτικής μάθησης τείνουν να έχουν τόσο απογοητευτικές επιδόσεις όταν δοκιμάζονται σε περιβάλλοντα που διαφέρουν από το χώρο εκπαίδευσής τους. Η ενισχυτική μάθηση είναι μια μέθοδος δοκιμής και λάθους όπου ο πράκτορας εξερευνά έναν χώρο εκπαίδευσης και μαθαίνει να λαμβάνει ενέργειες που μεγιστοποιούν την ανταμοιβή του.

Η σημασία της συνάρτησης μετάβασης

Η ομάδα ανέπτυξε μια τεχνική για να προσθέσει ρητά έναν ορισμένο βαθμό θορύβου σε ένα στοιχείο του προβλήματος ενισχυτικής μάθησης που ονομάζεται συνάρτηση μετάβασης. Η συνάρτηση μετάβασης ορίζει την πιθανότητα ένας πράκτορας να μεταβεί από μια κατάσταση σε άλλη, βάσει της ενέργειας που επιλέγει. Για παράδειγμα, αν ο πράκτορας παίζει Pac-Man, μια συνάρτηση μετάβασης μπορεί να ορίσει την πιθανότητα τα φαντάσματα στον πίνακα του παιχνιδιού να κινηθούν πάνω, κάτω, αριστερά ή δεξιά.

Η απροσδόκητη επιτυχία του θορύβου

Όταν οι ερευνητές πρόσθεσαν θόρυβο στη συνάρτηση μετάβασης με την παραδοσιακή προσέγγιση, όπως αναμενόταν, αυτό έβλαψε την απόδοση του πράκτορα στο Pac-Man. Όμως, όταν εκπαίδευσαν τον πράκτορα σε ένα παιχνίδι Pac-Man χωρίς θόρυβο και στη συνέχεια τον δοκίμασαν σε ένα περιβάλλον όπου εισήγαγαν θόρυβο στη συνάρτηση μετάβασης, απέδωσε καλύτερα από έναν πράκτορα που εκπαιδεύτηκε στο θορυβώδες παιχνίδι.

Εξερευνώντας το φαινόμενο της εσωτερικής εκπαίδευσης

Οι ερευνητές διαπίστωσαν ότι η εισαγωγή ποικίλων ποσοτήτων θορύβου στη συνάρτηση μετάβασης τους επέτρεψε να δοκιμάσουν πολλά περιβάλλοντα, αλλά δεν δημιούργησε ρεαλιστικά παιχνίδια. Όσο περισσότερο θόρυβο εισήγαγαν στο Pac-Man, τόσο πιο πιθανό ήταν τα φαντάσματα να τηλεμεταφερθούν τυχαία σε διαφορετικά τετράγωνα. Για να δουν αν το φαινόμενο της εσωτερικής εκπαίδευσης εμφανιζόταν σε κανονικά παιχνίδια Pac-Man, ρύθμισαν τις υποκείμενες πιθανότητες ώστε τα φαντάσματα να κινούνται κανονικά αλλά να είναι πιο πιθανό να κινηθούν πάνω και κάτω αντί για αριστερά και δεξιά. Οι πράκτορες AI που εκπαιδεύτηκαν σε περιβάλλοντα χωρίς θόρυβο εξακολουθούσαν να αποδίδουν καλύτερα σε αυτά τα ρεαλιστικά παιχνίδια.

Η μελλοντική κατεύθυνση της έρευνας

Στο μέλλον, οι ερευνητές ελπίζουν να εξερευνήσουν πώς το φαινόμενο της εσωτερικής εκπαίδευσης μπορεί να εμφανιστεί σε πιο σύνθετα περιβάλλοντα ενισχυτικής μάθησης ή με άλλες τεχνικές όπως η υπολογιστική όραση και η επεξεργασία φυσικής γλώσσας. Επίσης, θέλουν να δημιουργήσουν περιβάλλοντα εκπαίδευσης σχεδιασμένα να αξιοποιούν το φαινόμενο της εσωτερικής εκπαίδευσης, το οποίο θα μπορούσε να βοηθήσει τους πράκτορες AI να αποδίδουν καλύτερα σε αβέβαια περιβάλλοντα.

<