JevBench: Ένα αναπαραγώγιμο benchmark για μοντέλα λήψης αποφάσεων με αυστηρή τυποποίηση

Αρχιτεκτονική και μεθοδολογία του JevBench

Το JevBench δεν αποτελεί απλώς ένα ακόμα leaderboard, αλλά ένα εργαλείο μέτρησης για μοντέλα που δέχονται μια κατάσταση (state) και έναν περιορισμένο κανόνα (bounded rubric), επιστρέφοντας μια τυποποιημένη απάντηση. Η αρχιτεκτονική του benchmark βασίζεται σε 534 σταθερές αποφάσεις, οι οποίες παραμένουν αμετάβλητες για να διασφαλιστεί η αναπαραγωγιμότητα των αποτελεσμάτων.

Οι τέσσερις πυλώνες της αξιολόγησης

Η βαθμολογία υπολογίζεται μέσω του γεωμετρικού μέσου τεσσάρων παραμέτρων, καθεμία από τις οποίες συνεισφέρει κατά 25% στο τελικό σκορ:

• Intelligence: Η ικανότητα του μοντέλου να υπερβαίνει την τυχαία επιλογή.
• Calibration: Η αξιοπιστία των πιθανοτήτων που επιστρέφει το μοντέλο.
• Speed: Ο χρόνος απόκρισης, με διορθωτικούς συντελεστές για την προσομοίωση φορτίου παραγωγής.
• Cost: Το υπολογιστικό κόστος ανά αίτημα, βασισμένο σε τιμολογήσεις παρόχων ή εκτιμήσεις για self-hosted λύσεις.

Προκλήσεις στην αξιολόγηση μοντέλων λήψης αποφάσεων

Μια κρίσιμη διαπίστωση του JevBench είναι η αστάθεια ορισμένων μοντέλων. Για παράδειγμα, παρατηρήθηκε ότι μικρότερα μοντέλα παρουσιάζουν δραματικές αποκλίσεις στην ακρίβεια ανάλογα με τη σειρά των επιλογών (π.χ. A/B testing). Επιπλέον, το benchmark αναδεικνύει τη σημασία του σωστού prompt engineering και της διαχείρισης του context window, καθώς τα μοντέλα που αποτυγχάνουν να διαχειριστούν σωστά τα δεδομένα εισόδου οδηγούνται σε αποτυχία του parseable output, επηρεάζοντας άμεσα το τελικό σκορ.