Κατανεμημένη εκτέλεση μοντέλων 1.58-bit σε συστοιχία μικροελεγκτών ESP32S3

Αρχιτεκτονική κατανεμημένου inference

Η πρόκληση της εκτέλεσης ενός LLM σε μικροελεγκτές έγκειται κυρίως στον περιορισμένο διαθέσιμο χώρο SRAM και Flash. Το συγκεκριμένο project επιλύει αυτό το σημείο συμφόρησης (bottleneck) διασπώντας το μοντέλο σε τμήματα (slicing) και κατανέμοντάς τα σε επτά ανεξάρτητους κόμβους ESP32S3. Ο master node διαχειρίζεται το BPE tokenizer και το embedding lookup, ενώ οι υπόλοιποι κόμβοι αναλαμβάνουν διαδοχικά τα επίπεδα προσοχής (attention layers) και τα MLP blocks.

Βελτιστοποίηση μέσω BitNet και assembly

Η χρήση του BitNet (1.58-bit) επιτρέπει τη δραστική μείωση του αποτυπώματος μνήμης, καθώς τα βάρη περιορίζονται σε τριαδικές τιμές (-1, 0, 1). Για να επιτευχθεί η απαιτούμενη απόδοση, οι δημιουργοί υλοποίησαν custom assembly ρουτίνες για τις πράξεις MAC, οι οποίες είναι κρίσιμες για την ταχύτητα του inference. Η επικοινωνία μεταξύ των κόμβων γίνεται μέσω SPI daisy-chain, εξασφαλίζοντας τη ροή των δεδομένων με τη μέγιστη δυνατή διαλειτουργικότητα (interoperability) μεταξύ των μονάδων.

Εργαλεία προετοιμασίας και quantization

Το project συνοδεύεται από μια πλήρη σουίτα εργαλείων σε Python για την προετοιμασία του μοντέλου. Αυτή περιλαμβάνει διαδικασίες Quantization-Aware Training (QAT), περικοπή του λεξιλογίου (vocabulary pruning) και σειριοποίηση των βαρών σε δυαδικά αρχεία (.bin) που είναι συμβατά με το partition table του ESP-IDF. Η προσέγγιση αυτή αποδεικνύει ότι η παραγωγική τεχνητή νοημοσύνη (Generative AI) μπορεί να μεταφερθεί από τα data centers σε embedded συστήματα χαμηλού κόστους.