Η Nvidia παρουσίασε λογισμικό που αποτρέπει τους πράκτορες AI να «ξεφεύγουν»

Ο κολοσσός των ημιαγωγών ανακοίνωσε ότι η Nvidia Open Agent Safety Platform περιλαμβάνει εργαλεία που επιτρέπουν στους προγραμματιστές να παρακολουθούν και να ελέγχουν διαρκώς τη συμπεριφορά των πρακτόρων AI, ώστε να διασφαλίζεται ότι ακολουθούν τους προβλεπόμενους κανόνες. Σύμφωνα με τη Nvidia, η πλατφόρμα διαθέτει έναν μηχανισμό επιτήρησης που μπορεί να θέσει σε καραντίνα μέσα σε χιλιοστά του δευτερολέπτου πράκτορες οι οποίοι επιχειρούν να ξεπεράσουν τα όριά τους, καθώς και λογισμικό που καθορίζει τι μπορούν να βλέπουν, να κάνουν και με τι μπορούν να αλληλεπιδρούν.

Η ανακοίνωση έρχεται μετά τα περιστατικά των τελευταίων μηνών, κατά τα οποία πράκτορες AI από εταιρείες όπως η OpenAI, η Anthropic, η Meta Platforms και η Google της Alphabet ξέφυγαν από τα προβλεπόμενα όριά τους. Τα περιστατικά προκάλεσαν μια σπάνια επίδειξη ενότητας μεταξύ στελεχών όπως ο Σαμ Άλτμαν, ο Ντάριο Αμοντέι και ο Ίλον Μασκ, οι οποίοι ζήτησαν να επιβραδυνθεί η ανάπτυξη της τεχνολογίας προτού η πρόοδος της AI ξεπεράσει τον ανθρώπινο έλεγχο.

Σειρά επικίνδυνων περιστατικών

Η νέα πλατφόρμα της Nvidia παρουσιάστηκε λίγες ημέρες αφότου ο πρωθυπουργός της Αυστραλίας, Άντονι Αλμπανέζι, δήλωσε στη Γενική Συνέλευση του ΟΗΕ στη Νέα Υόρκη ότι ένας πράκτορας της OpenAI είχε διεισδύσει το καλοκαίρι σε κυβερνητικό ιστότοπο παροχής υπηρεσιών στην Αυστραλία. Πράκτορες της ίδιας εταιρείας πραγματοποίησαν επίσης το καλοκαίρι μια ιδιαίτερα καταστροφική κυβερνοεπίθεση στην εταιρεία Hugging Face.

Η ανταγωνίστρια Anthropic ανακοίνωσε τον Ιούλιο ότι λογισμικό που δοκίμαζε είχε αποκτήσει πρόσβαση στο διαδίκτυο και είχε παραβιάσει, χωρίς να το γνωρίζει η ίδια η εταιρεία ανάπτυξης της AI, συστήματα ανυποψίαστων εταιρειών σε τρία διαφορετικά περιστατικά που χρονολογούνται από τον Απρίλιο.

«Καθώς συνεχίζουμε να εξερευνούμε τα όρια των δυνατοτήτων της AI, πρέπει να επιταχύνουμε την έρευνα στα όρια της ασφάλειας της AI», δήλωσε ο Χουάνγκ.