Η επίδραση των εργαλείων AI στην παραγωγικότητα των προγραμματιστών

Η παρατηρούμενη επιβράδυνση κατά 19% στους έμπειρους προγραμματιστές δεν είναι κατηγορία κατά της τεχνητής νοημοσύνης συνολικά, αλλά μια αντανάκλαση της πραγματικής δυσκολίας ενσωμάτωσης πιθανολογικών προτάσεων σε καθορισμένες ροές εργασίας. Ο Gogia εξηγεί ότι η μέτρηση πρέπει να περιλαμβάνει την “εκ των υστέρων αναθεώρηση, την ανακύκλωση κώδικα και τους κύκλους ελέγχου από ομοτίμους — όχι μόνο το χρόνο κωδικοποίησης”.

Η ευρύτερη εικόνα της βιομηχανίας

Τα ευρήματα της METR συνάδουν με ανησυχητικές τάσεις που εντοπίστηκαν στην έκθεση DevOps Research and Assessment (DORA) της Google για το 2024, η οποία βασίζεται σε απαντήσεις από πάνω από 39.000 επαγγελματίες. Ενώ το 75% των προγραμματιστών ανέφερε ότι αισθάνεται πιο παραγωγικό με τα εργαλεία AI, τα δεδομένα λένε μια διαφορετική ιστορία: κάθε αύξηση 25% στην υιοθέτηση της AI έδειξε μια πτώση 1,5% στην ταχύτητα παράδοσης και μια μείωση 7,2% στη σταθερότητα του συστήματος. Επιπλέον, το 39% των ερωτηθέντων ανέφερε ότι έχει λίγη ή καθόλου εμπιστοσύνη στον κώδικα που παράγεται από AI.

Αντιφάσεις με προηγούμενες μελέτες

Αυτά τα αποτελέσματα έρχονται σε αντίθεση με προηγούμενες αισιόδοξες μελέτες. Έρευνα από το MIT, το Princeton και το Πανεπιστήμιο της Πενσυλβάνια, που ανέλυσε δεδομένα από πάνω από 4.800 προγραμματιστές στις Microsoft, Accenture και άλλη μια εταιρεία Fortune 100, βρήκε ότι οι προγραμματιστές που χρησιμοποιούν το GitHub Copilot ολοκλήρωσαν κατά μέσο όρο 26% περισσότερες εργασίες. Ένα ξεχωριστό ελεγχόμενο πείραμα έδειξε ότι οι προγραμματιστές ολοκλήρωσαν τις εργασίες κωδικοποίησης 55,8% πιο γρήγορα με το GitHub Copilot. Ωστόσο, αυτές οι μελέτες συνήθως χρησιμοποιούσαν απλούστερες, πιο απομονωμένες εργασίες σε σύγκριση με τα σύνθετα, πραγματικά σενάρια που εξετάστηκαν στην έρευνα της METR.