NSLLMs: Συνδυάζοντας νευροεπιστήμες και LLMs για αποδοτικά AI συστήματα

Τα μεγάλα γλωσσικά μοντέλα (LLMs) έχουν εξελιχθεί σε αναγκαία εργαλεία στην αναζήτηση της τεχνητής γενικής νοημοσύνης (AGI). Ωστόσο, καθώς η χρήση τους αυξάνεται, οι απαιτήσεις σε υπολογιστική ισχύ και μνήμη γίνονται σημαντικές, περιορίζοντας την ικανότητά τους να λειτουργούν ως θεμέλια της ανθρώπινης κοινωνίας. Επιπλέον, τα σημερινά LLMs συχνά στερούνται ερμηνευσιμότητας, καθώς οι αδιαφανείς διαδικασίες λήψης αποφάσεων καθιστούν δύσκολη την εξασφάλιση αξιοπιστίας και δικαιοσύνης σε τομείς υψηλού κινδύνου, όπως η υγειονομική περίθαλψη και τα οικονομικά.

Η ανάγκη για αποδοτικότητα και ερμηνευσιμότητα

Στον αντίποδα, ο ανθρώπινος εγκέφαλος εκτελεί περίπλοκες εργασίες με λιγότερο από 20 watt, ενώ ταυτόχρονα επιδεικνύει αξιοσημείωτη διαφάνεια στις γνωστικές του διαδικασίες. Αυτή η απότομη διαφορά αναδεικνύει το χάσμα μεταξύ των LLMs και της ανθρώπινης νόησης, δημιουργώντας μια διπλή πρόκληση: από τη μία πλευρά, η βελτίωση της υπολογιστικής αποδοτικότητας των LLMs είναι κρίσιμη για την ενίσχυση της ενεργειακής αποδοτικότητας και τη διατήρηση πόρων, ενώ από την άλλη, η ενίσχυση της ερμηνευσιμότητάς τους είναι απαραίτητη για την κατανόηση των αλληλεπιδράσεων και των λειτουργιών των συστατικών σε μεγάλης κλίμακας συστήματα.

Η πρόταση του NSLLM

Για να ξεπεραστεί αυτό το διεπιστημονικό εμπόδιο, η μελέτη προτείνει ένα ενιαίο πλαίσιο που μετατρέπει τα παραδοσιακά LLMs σε NSLLMs, εφαρμόζοντας μεθόδους όπως η καταμέτρηση ακίδων και η μετατροπή σε δυαδικές ακίδες, ενσωματώνοντας παράλληλα έναν μηχανισμό γραμμικής προσοχής βασισμένο σε ακίδες. Αυτό το πλαίσιο γεφυρώνει τις νευροεπιστήμες και τα μεγάλα γλωσσικά μοντέλα, προσφέροντας μια πλατφόρμα για την εφαρμογή εργαλείων νευροεπιστήμης στα LLMs.

Με την εισαγωγή της εκπαίδευσης με ακέραιους αριθμούς και της δυαδικής εκτίμησης, οι έξοδοι των τυπικών LLMs μετατρέπονται σε αναπαραστάσεις ακίδων, επιτρέποντας την ανάλυση της επεξεργασίας πληροφοριών με εργαλεία νευροεπιστήμης.

Επικύρωση της ενεργειακής αποδοτικότητας

Για να επικυρωθεί η ενεργειακή αποδοτικότητα της προσέγγισης, η μελέτη υλοποιεί μια προσαρμοσμένη αρχιτεκτονική υπολογισμού χωρίς MatMul για ένα μοντέλο δισεκατομμυρίων παραμέτρων σε πλατφόρμα FPGA. Συγκεκριμένα, χρησιμοποιείται στρατηγική ποσοτικοποίησης ανά στρώμα και ιεραρχικά μετρικά ευαισθησίας για να εκτιμηθεί η επίδραση κάθε στρώματος στην απώλεια ποσοτικοποίησης, διευκολύνοντας τη διαμόρφωση ενός βέλτιστου μοντέλου ακίδας μικτού βηματισμού που επιτυγχάνει ανταγωνιστική απόδοση υπό χαμηλή ποσοτικοποίηση.

Επιπλέον, εισάγεται μια στρατηγική ποσοτικοποίησης που υποστηρίζει τη σπαρτικότητα, αναδιαμορφώνοντας την κατανομή του δυναμικού μεμβράνης και μετατοπίζοντας την πιθανότητα χαρτογράφησης ποσοτικοποίησης προς χαμηλότερες ακέραιες τιμές, μειώνοντας σημαντικά το ρυθμό εκφόρτισης των ακίδων και βελτιώνοντας περαιτέρω την αποδοτικότητα του μοντέλου. Στην πλατφόρμα VCK190 FPGA, σχεδιάζεται ένας πυρήνας υλικού χωρίς MatMul, που εξαλείφει πλήρως τις λειτουργίες πολλαπλασιασμού μητρών στο NSLLM, μειώνοντας την δυναμική κατανάλωση ενέργειας στα 13.849 W και αυξάνοντας την απόδοση στα 161.8 tokens/s.

Σε σύγκριση με μια GPU A800, αυτή η προσέγγιση επιτυγχάνει 19.8 φορές υψηλότερη ενεργειακή αποδοτικότητα, 21.3 φορές εξοικονόμηση μνήμης και 2.2 φορές υψηλότερη ροή εκτίμησης.

Με τη μετατροπή της συμπεριφοράς των LLMs σε νευρικές δυναμικές αναπαραστάσεις, όπως οι ακίδες, μέσω του πλαισίου NSLLM, μπορούμε να αναλύσουμε τόσο τις δυναμικές ιδιότητες των νευρώνων τους όσο και τα χαρακτηριστικά επεξεργασίας πληροφοριών τους. Αυτό επιτρέπει μια πιο καθαρή ερμηνεία των υπολογιστικών ρόλων που διαδραματίζουν τα NSLLMs.

Τα πειραματικά αποτελέσματα δείχνουν ότι το μοντέλο κωδικοποιεί πληροφορίες πιο αποτελεσματικά όταν επεξεργάζεται σαφή κείμενα, επιτρέποντάς του να διακρίνει μεταξύ ασαφών και σαφών εισόδων. Η θετική συσχέτιση μεταξύ της αμοιβαίας πληροφορίας και της Shannon εντροπίας υποδηλώνει ότι τα στρώματα με υψηλότερη ικανότητα πληροφορίας είναι καλύτερα στην διατήρηση βασικών χαρακτηριστικών εισόδου.