Mini-AGI: Ένα μοντέλο συνεχούς μάθησης για οικιακό hardware

Μια νέα προσέγγιση στην προσωπική τεχνητή νοημοσύνη

Το Mini-AGI εισάγει μια ριζοσπαστική ιδέα: αντί για ένα στατικό μοντέλο που εκπαιδεύεται μια φορά και «παγώνει», το Mini-AGI είναι σχεδιασμένο να μαθαίνει συνεχώς από τη ροή δεδομένων του χρήστη. Με την αξιοποίηση μιας αρχιτεκτονικής που διαχειρίζεται τα βάρη του μοντέλου ως αρχεία στον δίσκο, το σύστημα μπορεί να λειτουργήσει σε μια τυπική κάρτα γραφικών με 8GB VRAM, καθιστώντας την εκπαίδευση μοντέλων από το μηδέν προσβάσιμη σε οικιακούς χρήστες.

Αρχιτεκτονική και Διαχείριση Μνήμης

Το μοντέλο δεν χρησιμοποιεί σταθερά επίπεδα, αλλά μια αναδρομική δομή με προσαρμοστικό βάθος. Κάθε χαρακτήρας επεξεργάζεται μέσω ενός συστήματος «ειδικών» (experts), όπου το μοντέλο επιλέγει δυναμικά ποια τμήματα της γνώσης του θα ενεργοποιήσει. Η διαχείριση της μνήμης γίνεται μέσω ενός συστήματος paging: τα βάρη που δεν χρησιμοποιούνται άμεσα παραμένουν στον δίσκο, ενώ τα απαραίτητα φορτώνονται στη VRAM, επιτρέποντας στο μοντέλο να επεκτείνεται όσο επιτρέπει ο αποθηκευτικός χώρος.

Αντιμετώπιση της Καταστροφικής Λήθης

Ένα από τα μεγαλύτερα προβλήματα στη συνεχή μάθηση είναι η απώλεια προηγούμενης γνώσης. Το Mini-AGI επιλύει αυτό το ζήτημα διατηρώντας τον ρυθμό μάθησης του «κορμού» του μοντέλου (embeddings, attention) στο 1/10 του ρυθμού των ειδικών. Αυτή η τεχνική επιτρέπει στο μοντέλο να ενσωματώνει νέες πληροφορίες χωρίς να διαγράφει τις παλιές, διατηρώντας πάνω από το 99% της προηγούμενης γνώσης κατά τη διάρκεια της εκπαίδευσης.

Πρακτική Εφαρμογή

Το Mini-AGI είναι ιδανικό για χρήστες που θέλουν ένα μοντέλο που «μεγαλώνει» μαζί με τα δεδομένα τους. Δεν απαιτείται tokenizer, καθώς λειτουργεί απευθείας σε επίπεδο byte, ενώ η διαδικασία εκπαίδευσης και παραγωγής κειμένου είναι η ίδια. Ο χρήστης μπορεί απλώς να υποδείξει φακέλους με αρχεία κειμένου και το μοντέλο θα ξεκινήσει να μαθαίνει από αυτά, ενσωματώνοντας τη νέα γνώση στη δομή του σε πραγματικό χρόνο.