Η τεχνητή νοημοσύνη μαθαίνει να σχεδιάζει όπως οι άνθρωποι

Η τέχνη της απεικόνισης ιδεών

Όταν προσπαθούμε να επικοινωνήσουμε ή να κατανοήσουμε ιδέες, τα λόγια δεν αρκούν πάντα. Μερικές φορές, μια απλή σκιαγράφηση μπορεί να αποδειχθεί πιο αποτελεσματική. Για παράδειγμα, η σχεδίαση ενός κυκλώματος μπορεί να βοηθήσει στην κατανόηση του τρόπου λειτουργίας του συστήματος. Τι θα γινόταν όμως αν η τεχνητή νοημοσύνη μπορούσε να μας βοηθήσει να εξερευνήσουμε αυτές τις απεικονίσεις; Παρόλο που οι υπάρχοντες αλγόριθμοι είναι συνήθως ικανοί να δημιουργούν ρεαλιστικές ζωγραφιές και καρικατούρες, πολλοί αποτυγχάνουν να συλλάβουν την ουσία της σκιαγράφησης: τη διαδικασία που γίνεται χτύπημα-χτύπημα, η οποία βοηθά τους ανθρώπους να αναπτύξουν και να επεξεργαστούν τις ιδέες τους.

Το νέο σύστημα σχεδίασης SketchAgent

Ένα νέο σύστημα σχεδίασης από το Εργαστήριο Επιστήμης Υπολογιστών και Τεχνητής Νοημοσύνης του MIT (CSAIL) και το Πανεπιστήμιο Stanford μπορεί να σχεδιάζει με τρόπο παρόμοιο με τον ανθρώπινο. Η μέθοδος αυτή, που ονομάζεται SketchAgent, χρησιμοποιεί ένα πολυτροπικό μοντέλο γλώσσας — συστήματα AI που εκπαιδεύονται σε κείμενο και εικόνες, όπως το Claude 3.5 Sonnet της Anthropic — για να μετατρέπει φυσικές γλωσσικές εντολές σε σκίτσα μέσα σε λίγα δευτερόλεπτα. Για παράδειγμα, μπορεί να σχεδιάσει ένα σπίτι είτε μόνο του είτε σε συνεργασία με έναν άνθρωπο, ενσωματώνοντας κειμενικές εντολές για να σκιαγραφήσει κάθε μέρος ξεχωριστά.

Ανακαλύπτοντας νέες δυνατότητες

Οι ερευνητές έδειξαν ότι το SketchAgent μπορεί να δημιουργήσει αφηρημένα σχέδια διαφόρων εννοιών, όπως ένα ρομπότ, μια πεταλούδα, μια έλικα DNA, ένα διάγραμμα ροής και ακόμη και την Όπερα του Σίδνεϊ. Μια μέρα, το εργαλείο αυτό θα μπορούσε να εξελιχθεί σε ένα διαδραστικό παιχνίδι τέχνης που θα βοηθά εκπαιδευτικούς και ερευνητές να διαγράμμιζαν σύνθετες έννοιες ή να προσφέρει στους χρήστες ένα γρήγορο μάθημα σχεδίασης.

Η φυσική επικοινωνία με την τεχνητή νοημοσύνη

Η μεταδιδακτορική ερευνήτρια του CSAIL, Yael Vinker, η οποία είναι η κύρια συγγραφέας μιας μελέτης που παρουσιάζει το SketchAgent, σημειώνει ότι το σύστημα εισάγει έναν πιο φυσικό τρόπο για τους ανθρώπους να επικοινωνούν με την τεχνητή νοημοσύνη. «Δεν είναι όλοι συνειδητοποιημένοι για το πόσο συχνά σχεδιάζουν στην καθημερινή τους ζωή. Μπορεί να σχεδιάζουμε τις σκέψεις μας ή να επεξεργαζόμαστε ιδέες με σκίτσα», λέει. «Το εργαλείο μας στοχεύει να μιμηθεί αυτή τη διαδικασία, καθιστώντας τα πολυτροπικά μοντέλα γλώσσας πιο χρήσιμα στο να μας βοηθούν να εκφράζουμε οπτικά τις ιδέες μας».

Η εκπαίδευση των μοντέλων χωρίς δεδομένα

Το SketchAgent διδάσκει αυτά τα μοντέλα να σχεδιάζουν χτύπημα-χτύπημα χωρίς να εκπαιδεύονται σε δεδομένα. Αντίθετα, οι ερευνητές ανέπτυξαν μια «γλώσσα σκιαγράφησης», στην οποία ένα σκίτσο μεταφράζεται σε μια αριθμημένη ακολουθία χτυπημάτων σε ένα πλέγμα. Το σύστημα έλαβε ένα παράδειγμα για το πώς σχεδιάζονται αντικείμενα όπως ένα σπίτι, με κάθε χτύπημα να χαρακτηρίζεται σύμφωνα με το τι αντιπροσωπεύει — όπως το έβδομο χτύπημα που είναι ένα ορθογώνιο χαρακτηριζόμενο ως «μπροστινή πόρτα» — για να βοηθήσει το μοντέλο να γενικεύσει σε νέες έννοιες.

Η αξιολόγηση των ικανοτήτων σκιαγράφησης της AI

Ενώ τα μοντέλα κειμένου-προς-εικόνα όπως το DALL-E 3 μπορούν να δημιουργήσουν εντυπωσιακές ζωγραφιές, τους λείπει ένα κρίσιμο στοιχείο της σκιαγράφησης: η αυθόρμητη, δημιουργική διαδικασία όπου κάθε χτύπημα μπορεί να επηρεάσει το συνολικό σχέδιο. Από την άλλη, τα σχέδια του SketchAgent μοντελοποιούνται ως μια ακολουθία χτυπημάτων, εμφανίζοντας μια πιο φυσική και ρευστή μορφή, όπως τα ανθρώπινα σκίτσα.

Συνεργασία ανθρώπου και AI

Προηγούμενες εργασίες έχουν μιμηθεί αυτή τη διαδικασία επίσης, αλλά εκπαίδευσαν τα μοντέλα τους σε σύνολα δεδομένων που έχουν σχεδιαστεί από ανθρώπους, τα οποία συχνά είναι περιορισμένα σε κλίμακα και ποικιλία. Το SketchAgent χρησιμοποιεί προεκπαιδευμένα μοντέλα γλώσσας, τα οποία είναι γνώστες πολλών εννοιών, αλλά δεν ξέρουν πώς να σχεδιάσουν. Όταν οι ερευνητές δίδαξαν στα μοντέλα γλώσσας αυτή τη διαδικασία, το SketchAgent άρχισε να σκιαγραφεί διάφορες έννοιες που δεν είχε εκπαιδευτεί ρητά.

Η σημασία της συνεργασίας

Παρόλα αυτά, η Vinker και οι συνάδελφοί της ήθελαν να δουν αν το SketchAgent συνεργαζόταν ενεργά με τους ανθρώπους στη διαδικασία σκιαγράφησης ή αν λειτουργούσε ανεξάρτητα από τον συνεργάτη του στη σχεδίαση. Η ομάδα δοκίμασε το σύστημά τους σε λειτουργία συνεργασίας, όπου ένας άνθρωπος και ένα μοντέλο γλώσσας εργάζονται μαζί για να σχεδιάσουν μια συγκεκριμένη έννοια. Η αφαίρεση των συνεισφορών του SketchAgent αποκάλυψε ότι τα χτυπήματα του εργαλείου ήταν απαραίτητα για το τελικό σχέδιο. Σε ένα σχέδιο ενός ιστιοφόρου, για παράδειγμα, η αφαίρεση των τεχνητών χτυπημάτων που αντιπροσώπευαν ένα κατάρτι έκανε το συνολικό σκίτσο αγνώριστο.

Η σύγκριση με άλλα μοντέλα

Σε ένα άλλο πείραμα, οι ερευνητές του CSAIL και του Stanford συνέδεσαν διαφορετικά πολυτροπικά μοντέλα γλώσσας στο SketchAgent για να δουν ποιο μπορούσε να δημιουργήσει τα πιο αναγνωρίσιμα σκίτσα. Το προεπιλεγμένο μοντέλο σκελετού τους, το Claude 3.5 Sonnet, παρήγαγε τα πιο ανθρώπινα γραφικά διανύσματος (ουσιαστικά αρχεία κειμένου που μπορούν να μετατραπούν σε εικόνες υψηλής ανάλυσης). Ξεπέρασε μοντέλα όπως το GPT-4o και το Claude 3 Opus.

Η εξέλιξη της επικοινωνίας με την AI