MicroLLM Lab: Εκτέλεση και αξιολόγηση μικρών γλωσσικών μοντέλων στον browser

Η άνοδος των Small Language Models (SLMs) στο edge

Η τάση για μοντέλα μεγέθους 25M–360M παραμέτρων αναδεικνύει μια νέα στρατηγική στην παραγωγική τεχνητή νοημοσύνη (Generative AI). Αντί για την εξάρτηση από τεράστια μοντέλα στο cloud, τα SLMs επιτρέπουν την εκτέλεση εργασιών όπως η ταξινόμηση προθέσεων (intent classification) και το φιλτράρισμα δεδομένων τοπικά. Αυτό μειώνει δραστικά το κόστος υποδομής και εξαλείφει το network latency, καθιστώντας τα ιδανικά για real-time εφαρμογές.

Τεχνική υλοποίηση μέσω WebGPU

Το MicroLLM Lab παρακάμπτει τους περιορισμούς των παραδοσιακών web εφαρμογών χρησιμοποιώντας το WebGPU API. Σε αντίθεση με το WASM (WebAssembly) που αποτελεί τη λύση ανάγκης (fallback), το WebGPU επιτρέπει την απευθείας πρόσβαση στους compute shaders της GPU. Η διαδικασία περιλαμβάνει:

• Q4 Quantization: Συμπίεση των βαρών από 16-bit floats σε 4-bit, μειώνοντας τις απαιτήσεις μνήμης κατά 75% χωρίς σημαντική απώλεια στην ποιότητα παραγωγής.
• IndexedDB Caching: Τα μοντέλα αποθηκεύονται τοπικά στον browser, επιτρέποντας άμεση φόρτωση χωρίς επαναλαμβανόμενα downloads.
• Hardware Abstraction: Το εργαλείο ανιχνεύει αυτόματα τον διαθέσιμο GPU adapter, εξασφαλίζοντας βέλτιστη απόδοση σε Apple Silicon, DirectX 12 ή Vulkan περιβάλλοντα.

Αξιολόγηση και διαλειτουργικότητα

Το εργαλείο δεν περιορίζεται μόνο στην εκτέλεση, αλλά παρέχει ένα πλήρες πλαίσιο για benchmarks. Οι προγραμματιστές μπορούν να ορίσουν custom αξιολογήσεις μέσω JavaScript, επιτρέποντας τον έλεγχο της ακρίβειας και της ταχύτητας (tokens/s) σε πραγματικές συνθήκες. Η δυνατότητα εξαγωγής πιστοποιητικών απόδοσης προσθέτει μια διάσταση διαφάνειας, επιτρέποντας τη σύγκριση της υπολογιστικής ισχύος διαφορετικών συσκευών σε ένα κοινό, τυποποιημένο περιβάλλον.