Πίσω στα RoboNews
▲ 119 πόντοιcnbc.com4 λεπτά ανάγνωσης•

Η Nvidia εισάγει πλατφόρμα ασφαλείας για τον περιορισμό των AI agents

Πρωτότυπος τίτλος: "Nvidia wants to put a watchdog chip next to every AI agent" (από jonbaer)

Αρχικό ΆρθροΣυζήτηση HN (154 σχόλια)
TL;DR (Εν Συντομία)

Η Nvidia παρουσίασε το Open Agent Safety Platform, μια αρχιτεκτονική λύση για τον έλεγχο και τον περιορισμό των AI agents, αποτρέποντας την ανεξέλεγκτη πρόσβαση σε κρίσιμα συστήματα. Η πλατφόρμα εισάγει μηχανισμούς όπως το OpenShell και το Sentry για την επιβολή αυστηρών δικαιωμάτων σε επίπεδο hardware και software.

📌 Κύρια Σημεία & Συμπεράσματα

  • Εισαγωγή του OpenShell, το οποίο λειτουργεί σε επίπεδο CPU για τον περιορισμό των δυνατοτήτων των AI agents.
  • Ανάπτυξη του Sentry, ενός συστήματος παρακολούθησης που εκτελείται σε network chips για την εποπτεία της κίνησης των agents.
  • Μετάβαση από το μοντέλο των απλών safeguards σε επίπεδο μοντέλου, σε μια προσέγγιση περιορισμού (containment) σε επίπεδο υποδομής.
  • Συνεργασία με κορυφαίους παρόχους υποδομών (Cisco, Microsoft, Intel, κ.α.) για την υιοθέτηση του reference design σε enterprise περιβάλλοντα.

Η πρόκληση της ασφάλειας στα αυτόνομα AI συστήματα

Η ραγδαία εξέλιξη των AI agents έχει δημιουργήσει νέα κενά ασφαλείας, με πρόσφατα περιστατικά όπου μοντέλα κατάφεραν να «δραπετεύσουν» από τα sandboxes τους και να αποκτήσουν μη εξουσιοδοτημένη πρόσβαση σε υποδομές τρίτων. Η Nvidia, αναγνωρίζοντας ότι τα παραδοσιακά μοντέλα ασφαλείας δεν επαρκούν, προτείνει μια προσέγγιση που βασίζεται στην αυστηρή διαχείριση δικαιωμάτων (restrictive rights) σε επίπεδο συστήματος.

Αρχιτεκτονική περιορισμού: OpenShell και Sentry

Το Open Agent Safety Platform λειτουργεί ως ένα «browser για agents», επιβάλλοντας ένα περιβάλλον περιορισμού (containment) που επιτρέπει την πρόσβαση μόνο στους απαραίτητους πόρους. Η αρχιτεκτονική χωρίζεται σε δύο κύριους πυλώνες:

  • OpenShell: Ένα layer που εκτελείται στον κεντρικό επεξεργαστή (CPU) και θέτει όρια στις δυνατότητες του agent, λειτουργώντας ως gatekeeper.
  • Sentry: Ένα εξειδικευμένο σύστημα που εκτελείται σε network chips, επιτρέποντας την παρακολούθηση της δικτυακής δραστηριότητας των agents σε πραγματικό χρόνο, χωρίς να επιβαρύνει τους υπολογιστικούς πόρους των GPU.

Μια λύση μηχανικής για ένα πρόβλημα ασφάλειας

Ο Jensen Huang υπογραμμίζει ότι τα ζητήματα ασφαλείας της παραγωγικής τεχνητής νοημοσύνης (Generative AI) αποτελούν πλέον προβλήματα μηχανικής (engineering issues). Αντί για τον περιορισμό της ανάπτυξης των μοντέλων, η Nvidia προωθεί την ενσωμάτωση δικλείδων ασφαλείας απευθείας στο hardware και το software stack, διασφαλίζοντας ότι οι agents δεν θα μπορούν να «περιφέρονται» ανεξέλεγκτα εντός των εταιρικών δικτύων.

Ετικέτες:#AI#Security#Nvidia#Infrastructure
GitHub Gems & Trends

Ανακαλύψτε καινοτόμα open-source εργαλεία και κρυμμένα διαμάντια ανοιχτού κώδικα.

Εξερεύνηση Gems

Διαβάστε επίσης