Όσο πιο αυτόνομοι γίνεται, όσο πιο οριοθετημένοι χρειάζεται

Η τεχνητή νοημοσύνη αλλάζει το ίδιο το έδαφος της επιχείρησης, και το κάνει ταχύτερα απ’ όσο σχεδιάστηκαν να απορροφήσουν οι περισσότερες αρχιτεκτονικές ασφάλειας.

Οι άμυνές μας διαμορφώθηκαν γύρω από ανθρώπους και εφαρμογές: κάποιος συνδέεται, το λογισμικό κάνει ό,τι γράφτηκε να κάνει, και χαράσσουμε όρια γύρω και από τα δύο. Οι πράκτορες σπάνε αυτό το μοτίβο. Ενεργούν για λογαριασμό κάποιου, καλούν εργαλεία και όλο και συχνότερα αναθέτουν δουλειά σε άλλους πράκτορες, καθένας με ένα μόνο μέρος των τεκμηρίων, και καθένας αποφασίζει αν θα δράσει.

Ο κίνδυνος που φέρνουν σήμερα οι πράκτορες εκτείνεται σε όλο το μήκος της στοίβας και σε όλο το βάθος της αλυσίδας ανάθεσης, ένα σχήμα πιο δύσκολο από εκείνο που σχεδιάστηκαν να συγκρατήσουν οι περισσότεροι έλεγχοί μας.

Μήκος, γιατί ένας μόνο πράκτορας μπορεί να αγγίξει διαδικασίες, δεδομένα, εφαρμογές, μοντέλα και υποδομές με μία κίνηση. Βάθος, γιατί κάθε ανάθεση είναι ένα σημείο όπου η πρόθεση παρεκκλίνει και η λογοδοσία αραιώνει. Ένας μηχανισμός προστασίας που παρακολουθεί ένα επίπεδο ή ένα βήμα βλέπει μόνο ένα μέρος της εικόνας.

Κάτω και από τα δύο βρίσκεται ένα ζήτημα οντολογίας: τι υπάρχει μέσα στην επιχείρηση και πώς σχετίζονται όλα αυτά μεταξύ τους. Ένας πράκτορας μπορεί να σεβαστεί μόνο ένα όριο που μπορεί να ονομάσει. Αν δεν έχουμε συμφωνήσει τι λογίζεται ως πόρος, ως ταυτότητα, ως ευαίσθητο δεδομένο ή ως εξουσιοδότηση για δράση, οι κανόνες μας μένουν ασαφείς και κάθε ανάθεση τους ερμηνεύει ξανά. Ούτε μπορούμε να αφήσουμε έναν πράκτορα να συγχέει ό,τι παρατήρησε, ό,τι συμπέρανε και ό,τι πραγματικά ισχύει. Η βεβαιότητά του σπάνια μας λέει ποιο είναι ποιο.

Η πειθαρχία που απαιτεί είναι γνώριμη: όσο πιο αυτόνομοι γίνεται, όσο πιο οριοθετημένοι χρειάζεται.

Έτσι λειτουργούσε πάντα η αρχιτεκτονική: σαφή όρια και πραγματική ελευθερία μέσα σε αυτά. Για τους πράκτορες, αυτό σημαίνει να αποφασίζουμε τι επιτρέπεται στον καθένα, να κρατάμε αρχείο για το τι πραγματικά έκανε και να ελέγχουμε τις ενέργειές του απέναντι στα τεκμήρια και όχι απέναντι στη δική του εκδοχή. Η αυτονομία κερδίζει τη θέση της όταν μπορούμε να την εξηγήσουμε και να την υπερασπιστούμε.