DeepSeek Elastic Compute: Μια πλατφόρμα sandbox για agentic workloads μεγάλης κλίμακας

Η πρόκληση των agentic workloads

Η εκπαίδευση και η αξιολόγηση μοντέλων τεχνητής νοημοσύνης που λειτουργούν ως πράκτορες (agentic models) απαιτεί περιβάλλοντα εκτέλεσης που είναι ταυτόχρονα απομονωμένα, stateful και εξαιρετικά ευέλικτα. Τα παραδοσιακά συστήματα sandbox συχνά αποτυγχάνουν να διαχειριστούν τον τεράστιο όγκο των bursts και τις απαιτήσεις για διατήρηση κατάστασης (state persistence) κατά τη διάρκεια μακροσκελών αλληλεπιδράσεων.

Αρχιτεκτονική του DSec

Το DSec εισάγει μια ελαστική προσέγγιση, απομακρυνόμενο από το μοντέλο του μεμονωμένου sandbox runtime. Η πλατφόρμα συνθέτει περιβάλλοντα από ανεξάρτητα versioned layers, επιτρέποντας την ευέλικτη διαχείριση πόρων. Η ενσωμάτωση με το Fire-Flyer File System (3FS) επιτρέπει την άμεση πρόσβαση σε μεγάλα image corpora, εξαλείφοντας τις καθυστερήσεις που προκαλούνται από την παραδοσιακή μεταφορά δεδομένων.

Βελτιστοποίηση και διαχείριση πόρων

Ένα από τα πιο κρίσιμα σημεία του DSec είναι ο συντονισμός του κύκλου ζωής των sandboxes με το framework εκπαίδευσης (reinforcement learning). Με τον διαχωρισμό του stateful rollout από το preemptible GPU training, το σύστημα μπορεί να διατηρεί την κατάσταση των πρακτόρων ενώ ταυτόχρονα ανακτά αδρανείς πόρους. Αυτή η αρχιτεκτονική επιτρέπει υψηλό overcommit χωρίς να θυσιάζεται η απόδοση σε κρίσιμα για το latency tasks, ενώ παράλληλα παρέχει μηχανισμούς για τον περιορισμό ανεπιθύμητων συμπεριφορών, όπως το reward hacking.