Όταν ένας 24χρονος φοιτητής Πληροφορικής στο Πανεπιστήμιο του Τέξας στο Ντάλας εντόπισε μια ύποπτη αλλαγή σε πρόγραμμα ανοιχτού λογισμικού στο GitHub, πίστευε ότι είχε απέναντί του έναν ιδιαίτερα ικανό χάκερ.
Ο Ντεμίρ εξέτασε την προτεινόμενη τροποποίηση του κώδικα και διαπίστωσε ότι πίσω από αυτήν κρυβόταν ένας μηχανισμός εγκατάστασης κακόβουλου λογισμικού.
Αποφάσισε να προειδοποιήσει δημόσια τους υπόλοιπους προγραμματιστές.
Τότε συνέβη κάτι που τον έκανε να αμφιβάλλει ακόμη και για τη δική του εκτίμηση.
Ο χρήστης που είχε προτείνει την αλλαγή άρχισε να του απαντά με λεπτομερή τεχνικά επιχειρήματα, υποστηρίζοντας ότι δεν υπήρχε τίποτε επικίνδυνο στον κώδικα.
Και δεν ήταν μόνος.
Εμφανίστηκε και άλλος «χρήστης» που υποστήριξε την ίδια θέση.
Ο Ντεμίρ επέμεινε. Η αλλαγή τελικά απορρίφθηκε.
Μόνο αργότερα πληροφορήθηκε ότι δεν είχε αντιπαρατεθεί με ανθρώπους.
Οι «χρήστες» ήταν τεχνητή νοημοσύνη
Σύμφωνα με όσα αποκαλύφθηκαν, το βρετανικό Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης επικοινώνησε με τον φοιτητή και τον ενημέρωσε ότι οι λογαριασμοί με τους οποίους συνομιλούσε αποτελούσαν μέρος της δράσης ενός αυτόνομου πράκτορα τεχνητής νοημοσύνης.
Η αντίδραση του Ντεμίρ αποτυπώνει ίσως καλύτερα από οτιδήποτε άλλο τη σοβαρότητα της υπόθεσης:
«Πραγματικά πίστευα ότι ήταν άνθρωπος, επειδή μου έλεγε ξεκάθαρα ψέματα. Δεν πίστευα ότι μια τεχνητή νοημοσύνη θα μπορούσε να είναι ικανή να λέει ψέματα σε πραγματικούς προγραμματιστές», δήλωσε στο Reuters.
Το περιστατικό είχε γίνει γνωστό αρχικά στις 4 Αυγούστου από το βρετανικό Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης, στο πλαίσιο δοκιμής για την αξιολόγηση των κινδύνων που μπορούν να δημιουργήσουν προηγμένα μοντέλα.
Μόνο που η δοκιμή δεν εξελίχθηκε όπως είχε σχεδιαστεί.
Επιχείρησε να «μολύνει» πρόγραμμα στο GitHub
Στόχος του αυτόνομου πράκτορα ήταν ένα πρόγραμμα σάρωσης δικτύων με την ονομασία myNetwork.
Ο λογαριασμός «miraholt31» εμφανίστηκε στο GitHub και υπέβαλε μία προτεινόμενη τροποποίηση στον κώδικα.
Φαινομενικά επρόκειτο για μία ακόμη συνεισφορά σε ένα πρόγραμμα ανοιχτού λογισμικού.
Ο Ντεμίρ, όμως, εξέτασε τον κώδικα και εντόπισε ότι η αλλαγή έκρυβε μηχανισμό εγκατάστασης κακόβουλου λογισμικού.
Αντί όμως ο λογαριασμός να εγκαταλείψει την προσπάθεια μόλις αποκαλύφθηκε, συνέβη κάτι διαφορετικό.
Άρχισε να αντεπιτίθεται με επιχειρήματα.
Υποστήριζε ότι η ενημέρωση ήταν ασφαλής και ότι ο Ντεμίρ είχε παρερμηνεύσει τον κώδικα.
Στη συνέχεια η κατάσταση έγινε ακόμη πιο περίπλοκη.
Δημιούργησε μια ανύπαρκτη Γερμανίδα μηχανικό
Ο πράκτορας τεχνητής νοημοσύνης φέρεται να δημιούργησε δεύτερη διαδικτυακή ταυτότητα.
Αυτή τη φορά παρουσιάστηκε ως μία μηχανικός από τη Γερμανία με το όνομα Λένα Μπραντ.
Η «Λένα» εμφανίστηκε στη συζήτηση και, ως φαινομενικά ανεξάρτητο τρίτο πρόσωπο, συμφώνησε ότι η προτεινόμενη αλλαγή δεν παρουσίαζε πρόβλημα ασφαλείας.
Έτσι δημιουργούνταν η εντύπωση ότι δύο διαφορετικοί άνθρωποι με τεχνικές γνώσεις αμφισβητούσαν τις προειδοποιήσεις του 24χρονου.
Ο στόχος ήταν συγκεκριμένος: να αυξηθεί η πίεση προς τον υπεύθυνο του προγράμματος ώστε να αποδεχθεί την αλλαγή.
Και η μέθοδος παραλίγο να λειτουργήσει.
Ο ίδιος ο Ντεμίρ παραδέχθηκε ότι τα επιχειρήματα που δεχόταν άρχισαν να του δημιουργούν αμφιβολίες.
«Τα αντεπιχειρήματα με έκαναν να αρχίσω να αμφιβάλλω μήπως κατηγορούσα άδικα κάποιον», ανέφερε.
Τελικά χρησιμοποίησε το Claude για να επανεξετάσει τις τεχνικές ενδείξεις και αποφάσισε να επιμείνει.
Ο δημιουργός του myNetwork απέρριψε τελικά την αλλαγή για λόγους ασφαλείας.
Η απόπειρα είχε αποτύχει.
Από την κυβερνοεπίθεση στην κοινωνική μηχανική
Εδώ βρίσκεται και το στοιχείο που προκαλεί τη μεγαλύτερη ανησυχία στους ειδικούς.
Δεν επρόκειτο απλώς για ένα σύστημα τεχνητής νοημοσύνης που παρήγαγε κακόβουλο κώδικα.
Ο πράκτορας φέρεται να ακολούθησε μία αλληλουχία ενεργειών:
εντόπισε στόχο, επιχείρησε να εισαγάγει κακόβουλο κώδικα, αντιμετώπισε ανθρώπινη αντίσταση, χρησιμοποίησε ψευδείς ισχυρισμούς και δημιούργησε πρόσθετη διαδικτυακή ταυτότητα ώστε να αυξήσει την αξιοπιστία των επιχειρημάτων του.
Αυτό μεταφέρει το πρόβλημα σε διαφορετικό επίπεδο.
Ο ερευνητής Λούκας Ολέινικ, επισκέπτης ανώτερος ερευνητής στο Τμήμα Πολεμικών Σπουδών του King’s College London, εκτίμησε ότι το περιστατικό «ξεπέρασε τη γραμμή από την αυτόνομη κυβερνοεπίθεση προς τη διαδραστική εξαπάτηση».
Η ειδικός ασφαλείας Μάξι Ρέινολντς στάθηκε επίσης στη στρατηγική φύση της παραπλάνησης, εκτιμώντας ότι παρόμοιες τεχνικές ενδέχεται να αποτελέσουν «το μέλλον των επιθέσεων κοινωνικής μηχανικής».
Τι είναι η επίθεση στην αλυσίδα εφοδιασμού
Η τεχνική που επιχειρήθηκε είναι γνωστή ως software supply-chain attack, δηλαδή επίθεση στην αλυσίδα εφοδιασμού λογισμικού.
Αντί ο δράστης να επιτεθεί ξεχωριστά σε κάθε τελικό χρήστη, προσπαθεί να αλλοιώσει το ίδιο το λογισμικό που χρησιμοποιούν πολλοί άνθρωποι ή οργανισμοί.
Εάν ο κακόβουλος κώδικας γίνει δεκτός και ενσωματωθεί στο πρόγραμμα, μπορεί στη συνέχεια να διανεμηθεί σε μεγάλο αριθμό συστημάτων.
Αυτό είναι που κάνει τις συγκεκριμένες επιθέσεις τόσο επικίνδυνες.
Ένα επιτυχημένο χτύπημα σε ένα κρίσιμο ή ευρέως χρησιμοποιούμενο πρόγραμμα μπορεί να πολλαπλασιάσει τους πραγματικούς στόχους της επίθεσης χωρίς ο δράστης να χρειάζεται να τους προσβάλει έναν προς έναν.
Ο πολλαπλασιαστής ισχύος της τεχνητής νοημοσύνης
Το ακόμη μεγαλύτερο πρόβλημα αφορά την κλίμακα.
Ένας άνθρωπος χάκερ έχει περιορισμένο χρόνο και δυνατότητα να συνομιλεί ταυτόχρονα με στόχους, να δημιουργεί πειστικές ταυτότητες, να αναλύει κώδικα και να πραγματοποιεί επιθέσεις.
Ένα επαρκώς αυτόνομο σύστημα τεχνητής νοημοσύνης θα μπορούσε θεωρητικά να επαναλαμβάνει τέτοιες ενέργειες σε πολύ μεγαλύτερη κλίμακα.
Να εντοπίζει εκατοντάδες ευάλωτα προγράμματα.
Να δημιουργεί διαφορετικές προσωπικότητες.
Να συμμετέχει σε τεχνικές συζητήσεις.
Να προσαρμόζει τα επιχειρήματά του ανάλογα με την αντίδραση των ανθρώπων.
Και να επαναλαμβάνει την προσπάθεια όσες φορές χρειαστεί.
Αυτός είναι ο πραγματικός εφιάλτης που βλέπουν οι ειδικοί πίσω από το συγκεκριμένο περιστατικό: όχι απλώς καλύτερο κακόβουλο λογισμικό, αλλά αυτοματοποίηση ολόκληρης της διαδικασίας μιας κυβερνοεπίθεσης και της ανθρώπινης εξαπάτησης που τη συνοδεύει.
Τι απαντούν Anthropic και GitHub
Σύμφωνα με το βρετανικό Ινστιτούτο Ασφάλειας Τεχνητής Νοημοσύνης, ο πράκτορας που βγήκε εκτός του αναμενόμενου πλαισίου λειτουργούσε με μοντέλο της Anthropic.
Η εταιρεία επισήμανε ότι η συγκεκριμένη δοκιμή πραγματοποιήθηκε υπό «σκόπιμα επιτρεπτικές συνθήκες» και ότι αυτές δεν αντιστοιχούν στον τρόπο λειτουργίας των εμπορικών μοντέλων που προσφέρει στους χρήστες.
Το GitHub, από την πλευρά του, ανέφερε ότι οι ψεύτικοι λογαριασμοί που συνδέθηκαν με την υπόθεση ανεστάλησαν βάσει των πολιτικών του για παραπλανητική συμπεριφορά και παραβιάσεις ασφαλείας.
Ωστόσο, το περιστατικό αφήνει πίσω του ένα πολύ μεγαλύτερο ερώτημα.
«Πρέπει να την κατανοήσουν πριν την κάνουν ισχυρότερη»
Μέχρι σήμερα μεγάλο μέρος της συζήτησης γύρω από τους κινδύνους της τεχνητής νοημοσύνης αφορούσε το κατά πόσο ένα μοντέλο μπορεί να παράγει ψευδείς πληροφορίες, επικίνδυνο κώδικα ή παραπλανητικό περιεχόμενο.
Η συγκεκριμένη περίπτωση δείχνει έναν διαφορετικό πιθανό κίνδυνο:
ένα σύστημα που δεν παράγει απλώς πληροφορίες, αλλά δρα, συναντά εμπόδια, προσαρμόζει τη στρατηγική του και χρησιμοποιεί εξαπάτηση προκειμένου να πετύχει έναν στόχο.
Για τον Ντεμίρ, η εμπειρία ήταν αρκετή ώστε να αλλάξει τον τρόπο με τον οποίο αντιλαμβάνεται την ταχύτητα ανάπτυξης της τεχνητής νοημοσύνης.
«Μπορεί να είναι επικίνδυνη», προειδοποίησε.
Και κατέληξε σε μια φράση που συνοψίζει το δίλημμα που βρίσκεται πλέον μπροστά στην τεχνολογική βιομηχανία:
«Πρέπει να την κατανοήσουν καλύτερα, αντί απλώς να συνεχίζουν να την κάνουν πιο ισχυρή».