Πώς μια εταιρεία υπόσχεται να δαμάσει τα «ανεξέλεγκτα» AI agents

Μια νέα startup υπόσχεται να φέρει στον επιχειρηματικό κόσμο ένα είδος «ασφαλιστικού» και πιστοποιητικού μηχανισμού για τα AI agents, με στόχο να περιορίσει τις ανεπιθύμητες συμπεριφορές — jailbreaks, hallucinations και διαρροές δεδομένων — πριν αυτά εγκατασταθούν σε τράπεζες, νοσοκομεία ή δημόσιες υπηρεσίες. Η κίνηση αποκτά ενδιαφέρον καθώς κορυφαία στελέχη του χώρου, όπως ερευνητές της Anthropic, εκφράζουν δημόσια ανησυχίες για τους κινδύνους των ταχέως εξελισσόμενων συστημάτων τεχνητής νοημοσύνης.

Οι ιδρυτές της νέας εταιρείας, ο Rune Kvist και ο Rajiv Dattani — συνεργάτες και συγγενείς μέσω γάμου — προτείνουν μια λύση βασισμένη στην ανεξάρτητη αξιολόγηση και πιστοποίηση των agents, με πρότυπο τις μεθόδους του παραδοσιακού cybersecurity. Η ιδέα τους κέρδισε την εμπιστοσύνη επενδυτών και πελατών: πρόσφατα ολοκληρώθηκε γύρος Series A $40 εκατ. με επικεφαλής την Ribbit Capital, ανεβάζοντας τη συνολική χρηματοδότηση στα $55 εκατ.

Από την ανησυχία στη δράση

Η συζήτηση για τους κινδύνους των AI συστημάτων κερδίζει έδαφος. Ενδεικτική είναι η παραίτηση του ερευνητή Jacob Coxon από την Anthropic, που προκάλεσε κύμα σχολιασμών για το αν τα συστήματα θα μπορούσαν να οδηγήσουν σε σοβαρούς, συστημικούς κινδύνους μέσα στην επόμενη δεκαετία. Αντιμέτωποι με αυτή τη ρητορική, οι Kvist και Dattani θεωρούν ότι απαιτείται πρακτική, επιχειρησιακή λύση — όχι μόνο θεωρητική συζήτηση.

Η πρόταση τους, η Artificial Intelligence Underwriting Company (AIUC), απευθύνεται κυρίως σε οργανισμούς που αγοράζουν ή αναπτύσσουν agents και χρειάζονται αξιόπιστη, ανεξάρτητη επιβεβαίωση ότι τα συστήματα θα συμπεριφερθούν σύμφωνα με συμβατικές δεσμεύσεις και νομοθετικά πλαίσια.

Πώς λειτουργεί το μοντέλο πιστοποίησης

Η ιδέα δεν είναι να μπουν “inside” σε κάθε εταιρεία και να χειρίζονται τα συστήματά της, αλλά να παρέχουν ένα τρίτο-μέρος audit και ένα πιστοποιητικό συμμόρφωσης. Το AIUC σχεδίασε το πρότυπο AIUC-1, εμπνευσμένο από δημοφιλή cybersecurity πλαίσια όπως το SOC 2, και μια υπηρεσία δοκιμών που αξιολογεί agents σε πληθώρα σεναρίων.

Η εταιρεία συγκέντρωσε ένα κονσόρτσιουμ περίπου 250 επαγγελματιών ασφάλειας και risk leaders — δηλαδή τους οργανισμούς-αγοραστές που θα χρησιμοποιήσουν αυτά τα agents. Μέσα από συνεχείς διαβουλεύσεις κατέληξε σε ένα battery tests που περιλαμβάνει περίπου 5.000 αυτοματοποιημένες δοκιμές για διαφορετικές συμπεριφορές και ακραία σενάρια.

Το αποτέλεσμα της διαδικασίας είναι μια αναφορά περίπου 100 σελίδων που περιγράφει λεπτομερώς πού το agent είναι αξιόπιστο και ασφαλές και πού υπάρχουν κίνδυνοι. Η διαδικασία αξιολογεί jailbreaks, hallucinations (παραπλανητικές ή εσφαλμένες απαντήσεις) και πιθανότητες διαρροής δεδομένων, ενώ συνδυάζει AI-driven testing με τελική ανθρώπινη επαλήθευση.

Γιατί να χρησιμοποιήσει κανείς τρίτο πάροχο αξιολόγησης;

Οι λόγοι είναι πρακτικοί και οικονομικοί: μεγάλες επιχειρήσεις έχουν νομικές και δεσμευτικές υποχρεώσεις απέναντι σε πελάτες και χρήστες τους. Όταν ένα AI agent δυσλειτουργεί, ο κίνδυνος δεν είναι μόνο τεχνικός αλλά και reputational, νομικός και οικονομικός. Συχνά οι οργανισμοί δεν απορρίπτουν ένα μοντέλο επειδή δεν είναι «έξυπνο»· το απορρίπτουν επειδή δεν μπορούν να εγγυηθούν τι θα κάνει σε κρίσιμες περιπτώσεις.

Η παρουσία ενός ανεξάρτητου πιστοποιητικού μπορεί να απλοποιήσει διαδικασίες procurement, να μειώσει το κόστος ασφάλισης και να ενισχύσει την εμπιστοσύνη των τελικών χρηστών. Επιπλέον, δίνει στους αγοραστές συγκεκριμένες αναφορές για να απαιτήσουν διορθώσεις ή περιορισμούς πριν την παραγωγική χρήση.

Το τεχνικό στήσιμο: agents δοκιμάζουν agents

Ένα ενδιαφέρον σημείο στην προσέγγιση της AIUC είναι ότι χρησιμοποιεί AI agents για να εκτελέσει μεγάλο μέρος των δοκιμών. Ουσιαστικά, αυτοματοποιημένα agent-based red teams δημιουργούν επιθέσεις, χειραψίες (jailbreak attempts) και σενάρια παραπληροφόρησης, ενώ στη συνέχεια AI αναλύει τα αποτελέσματα. Η τελική λέξη όμως ανήκει σε ανθρώπους auditors, που επικυρώνουν τα ευρήματα και βάζουν context στις μηχανικές μετρήσεις.

Αυτό το μείγμα αυτοματοποίησης και ανθρώπινης εποπτείας βοηθά στην κλιμάκωση: χωρίς αυτό, είναι πρακτικά αδύνατο να τρέξεις χιλιάδες πατέντες δοκιμών γρήγορα και με οικονομικό τρόπο. Παράλληλα, αυτές οι δοκιμές πρέπει να ενημερώνονται συνεχώς — οι επιθέσεις εξελίσσονται και τα μοντέλα αλλάζουν με updates και fine-tuning.

Πελάτες, χρηματοδότηση και σημάδια εμπιστοσύνης

Η AIUC ήδη απαριθμεί μεταξύ των πελατών της εταιρείες όπως Cursor, Lovable, Harvey και ElevenLabs, που δείχνει πως η ζήτηση για ανεξάρτητες αξιολογήσεις υπάρχει τόσο σε νεότερα εργαλεία όσο και σε πιο υβριδικά προϊόντα υπηρεσιών. Η πρόσφατη χρηματοδότηση Series A $40 εκατ. από την Ribbit Capital και συμμετοχή της First Harmonic, σε συνδυασμό με το seed $15 εκατ. από το NFDG του Nat Friedman και άλλους επενδυτές, επισφραγίζει το ενδιαφέρον της αγοράς για επιχειρήσεις που γεφυρώνουν ασφάλεια και AI.

Η επιλογή του ονόματος «Underwriting» στην εταιρεία — όρος που προέρχεται από τον ασφαλιστικό κλάδο — δεν είναι τυχαία. Η πρακτική υπόσχεται να λειτουργήσει σαν underwriting: να ποσοτικοποιήσει και να ασφαλίσει κινδύνους ώστε να γίνουν δεκτοί ή να τιμολογηθούν κατάλληλα.

Πού συναντιέται αυτή η προσπάθεια με άλλες πρωτοβουλίες ασφαλείας

Η δραστηριότητα της AIUC δεν είναι εντελώς νέα ιδέα. Ο Rajiv Dattani προέρχεται από τη METR, όπου συμμετείχε ως COO και το έργο περιλάμβανε ανεξάρτητες δοκιμές για frontier labs, κυρίως σε επίπεδο απόδοσης και αξιοπιστίας. Με παρόμοιο τρόπο, ο Dario Amodei της Anthropic έχει προτείνει δημόσια την ιδέα της ενσωμάτωσης τρίτων evaluators σε frontier labs, δείχνοντας ότι η βιομηχανία αρχίζει να αποδέχεται την ανάγκη για εξωτερική επαλήθευση.

Αν και η AIUC δεν προτείνει embedding evaluators μέσα σε κάθε εταιρεία (όπως ορισμένες από τις προτάσεις Amodei), η αξία της είναι παρόμοια: ανεξάρτητη, αντικειμενική αξιολόγηση που μπορεί να γίνει αποδεκτή από regulators, πελάτες και ασφαλιστές.

Πρακτικές προκλήσεις και όρια της προσέγγισης

Υπάρχουν σημαντικά τεχνικά και οικονομικά εμπόδια. Τα μοντέλα είναι μαύρα κουτιά· οι πάροχοι proprietary models δεν συχνά αποκαλύπτουν εσωτερικές λεπτομέρειες που απαιτούνται για πλήρη αξιολόγηση. Οι συχνές ενημερώσεις μοντέλων σημαίνουν ότι μια πιστοποίηση μπορεί γρήγορα να παλιώσει, απαιτώντας συνεχή monitoring και re-evaluation. Τέλος, όταν οι επιτιθέμενοι ξέρουν τα test suites, θα προσαρμόσουν τις συμπεριφορές τους — δημιουργώντας έναν κύκλο «cat-and-mouse».

Υπάρχουν επίσης νομικά και δεοντολογικά ζητήματα. Ποιος φέρει την ευθύνη όταν μια πιστοποίηση αποδειχθεί ανεπαρκής; Πώς πρέπει να διατυπώνονται οι προειδοποιήσεις προς τους πελάτες; Η αγορά θα χρειαστεί σαφή κανονιστική καθοδήγηση και κοινώς αποδεκτά standards για να αποφευχθούν παραπλανητικές πιστοποιήσεις.

Τι αλλάζει στην πράξη

Στη σύγχρονη αγορά, η ύπαρξη ενός τρίτου, αξιόπιστου πιστοποιητικού μπορεί να γίνει προαπαιτούμενο για μεγάλες συμφωνίες. Τράπεζες, ασφαλιστικοί οργανισμοί και δημόσιοι φορείς ήδη ζητούν τεκμηρίωση για την ασφάλεια και τη συμμόρφωση πριν δεσμευτούν. Με την έλευση προτύπων όπως το AIUC-1, η διαδικασία procurement μπορεί να αποκτήσει μεγαλύτερη δομή και προβλεψιμότητα.

Για τις εταιρείες που αναπτύσσουν agents, αυτό σημαίνει ότι θα πρέπει να ενσωματώσουν εξ αρχής πρακτικές testing και auditing στη lifecycle του προϊόντος τους. Η δυνατότητα παροχής ενός «σετ δοκιμών passed» και μιας λεπτομερούς αναφοράς θα γίνει ανταγωνιστικό πλεονέκτημα — ή και προϋπόθεση πρόσβασης σε ορισμένες αγορές.

Τι σημαίνει για τους χρήστες

Για τον τελικό χρήστη, μια πιο δομημένη και ανεξάρτητη πιστοποίηση των AI agents μπορεί να μεταφραστεί σε πιο συνεπή εμπειρία, μικρότερο κίνδυνο διαρροής ευαίσθητων δεδομένων και λιγότερα ανεπανόρθωτα λάθη. Ωστόσο, η ασφάλεια δεν είναι ποτέ απόλυτη: ένα πράσινο σήμα από μια ανεξάρτητη αξιολόγηση δείχνει ότι ένας agent πέρασε συγκεκριμένα tests σε συγκεκριμένες συνθήκες — δεν εγγυάται πλήρη απαλλαγή από κινδύνους.

Στο ευρύτερο οικοσύστημα, η υιοθέτηση τέτοιων πιστοποιήσεων μπορεί να επιταχύνει μια ωριμότητα στην αγορά AI: καλύτερα SLA, σαφέστερες νομικές ρήτρες και πιο αποτελεσματική συνεργασία μεταξύ παρόχων τεχνολογίας, πελατών και ρυθμιστικών αρχών. Όμως, για να αποδώσει πραγματικά, χρειάζεται διαφάνεια, συνεχή ενημέρωση των tests και κοινά αποδεκτά standards που θα αναγνωρίζονται και από τις ρυθμιστικές αρχές.