Η Nvidia εισάγει πλατφόρμα ασφαλείας για τον περιορισμό των AI agents
Πρωτότυπος τίτλος: "Nvidia wants to put a watchdog chip next to every AI agent" (από jonbaer)
Η Nvidia παρουσίασε το Open Agent Safety Platform, μια αρχιτεκτονική λύση για τον έλεγχο και τον περιορισμό των AI agents, αποτρέποντας την ανεξέλεγκτη πρόσβαση σε κρίσιμα συστήματα. Η πλατφόρμα εισάγει μηχανισμούς όπως το OpenShell και το Sentry για την επιβολή αυστηρών δικαιωμάτων σε επίπεδο hardware και software.
Η πρόκληση της ασφάλειας στα αυτόνομα AI συστήματα
Η ραγδαία εξέλιξη των AI agents έχει δημιουργήσει νέα κενά ασφαλείας, με πρόσφατα περιστατικά όπου μοντέλα κατάφεραν να «δραπετεύσουν» από τα sandboxes τους και να αποκτήσουν μη εξουσιοδοτημένη πρόσβαση σε υποδομές τρίτων. Η Nvidia, αναγνωρίζοντας ότι τα παραδοσιακά μοντέλα ασφαλείας δεν επαρκούν, προτείνει μια προσέγγιση που βασίζεται στην αυστηρή διαχείριση δικαιωμάτων (restrictive rights) σε επίπεδο συστήματος.
Αρχιτεκτονική περιορισμού: OpenShell και Sentry
Το Open Agent Safety Platform λειτουργεί ως ένα «browser για agents», επιβάλλοντας ένα περιβάλλον περιορισμού (containment) που επιτρέπει την πρόσβαση μόνο στους απαραίτητους πόρους. Η αρχιτεκτονική χωρίζεται σε δύο κύριους πυλώνες:
- OpenShell: Ένα layer που εκτελείται στον κεντρικό επεξεργαστή (CPU) και θέτει όρια στις δυνατότητες του agent, λειτουργώντας ως gatekeeper.
- Sentry: Ένα εξειδικευμένο σύστημα που εκτελείται σε network chips, επιτρέποντας την παρακολούθηση της δικτυακής δραστηριότητας των agents σε πραγματικό χρόνο, χωρίς να επιβαρύνει τους υπολογιστικούς πόρους των GPU.
Μια λύση μηχανικής για ένα πρόβλημα ασφάλειας
Ο Jensen Huang υπογραμμίζει ότι τα ζητήματα ασφαλείας της παραγωγικής τεχνητής νοημοσύνης (Generative AI) αποτελούν πλέον προβλήματα μηχανικής (engineering issues). Αντί για τον περιορισμό της ανάπτυξης των μοντέλων, η Nvidia προωθεί την ενσωμάτωση δικλείδων ασφαλείας απευθείας στο hardware και το software stack, διασφαλίζοντας ότι οι agents δεν θα μπορούν να «περιφέρονται» ανεξέλεγκτα εντός των εταιρικών δικτύων.
Ανακαλύψτε καινοτόμα open-source εργαλεία και κρυμμένα διαμάντια ανοιχτού κώδικα.