Η AgentClinic αξιολογεί την κλινική AI σε ρεαλιστικά σενάρια

Μια πρόσφατη μελέτη που δημοσιεύτηκε στο περιοδικό npj Digital Medicine παρουσίασε ένα νέο πρότυπο αξιολόγησης για τις κλινικές τεχνητές νοημοσύνες, γνωστό ως AgentClinic. Το πρότυπο αυτό αποδεικνύει ότι οι διαγνωστικές εξετάσεις δεν αρκούν, καθώς απαιτείται η ικανότητα συλλογής πληροφοριών, χειρισμού αβεβαιότητας, χρήσης εργαλείων και ερμηνείας εικόνων κατά τη διάρκεια εικονικών ιατρικών συναντήσεων.

Οι προκλήσεις της κλινικής εργασίας και οι περιορισμοί της AI

Η κλινική εργασία είναι περίπλοκη και απαιτεί διαρκή λήψη αποφάσεων, με περιορισμένα δεδομένα και πόρους. Ωστόσο, οι τρέχουσες αξιολογήσεις τεχνητής νοημοσύνης δεν αντικατοπτρίζουν αυτή την πραγματικότητα, καθώς βασίζονται σε στατικά δεδομένα που παρέχονται σε σενάρια. Στην πραγματικότητα, οι αλλαγές στην προσέγγιση αξιολόγησης αναδεικνύουν την αδυναμία των μεγάλων γλωσσικών μοντέλων (LLMs) να επιτύχουν την ίδια απόδοση σε διαδραστικά περιβάλλοντα όπως το AgentClinic.

Η δομή του AgentClinic και οι γλωσσικοί πράκτορες

Το AgentClinic περιλαμβάνει τέσσερις γλωσσικούς πράκτορες: τον ιατρικό πράκτορα, τον ασθενή, τον μετρητικό και τον μεσολαβητή. Κάθε πράκτορας έχει προσαρμοσμένες οδηγίες και μοναδικές πληροφορίες που δεν έχουν πρόσβαση οι άλλοι. Ο ιατρικός πράκτορας είναι αυτός που αξιολογείται με βάση την απόδοσή του κατά την αλληλεπίδραση με τους άλλους πράκτορες. Ερωτήσεις από διάφορες ιατρικές βάσεις δεδομένων χρησιμοποιήθηκαν για να δημιουργηθούν σενάρια που σχετίζονται με την ιατρική πρακτική.

Αξιολόγηση της απόδοσης των LLMs στην AgentClinic

Στην εκτίμηση της απόδοσης 11 LLMs, οι ερευνητές επέλεξαν ερωτήσεις που συναντώνται στις εξετάσεις ιατρικής άδειας και σε άλλες ιατρικές προκλήσεις. Ο ιατρικός πράκτορας μπορούσε να αλληλεπιδράσει με τους άλλους για 20 φορές προτού φτάσει σε μια διάγνωση. Αντίστοιχα, η επίδοση τριών ειδικών ιατρών εκτιμήθηκε κάτω από τις ίδιες συνθήκες, αν και τα αποτελέσματα θα πρέπει να ερμηνεύονται με προσοχή λόγω του μικρού δείγματος. Ο Claude 3.5 Sonnet φάνηκε να ξεχωρίζει με την καλύτερη απόδοση στην εκτίμηση.

Το μέλλον της κλινικής AI και η σημασία του AgentClinic

Με τα νέα δεδομένα που προσφέρει το AgentClinic, η τεχνητή νοημοσύνη μπορεί να βελτιώσει τη διαγνωστική ακρίβεια και να αναπτύξει καλύτερες στρατηγικές για την πραγματική κλινική πρακτική. Η σημασία της αλληλεπίδρασης και της ικανότητας προσαρμογής σε ρεαλιστικά σενάρια φανερώνει την ανάγκη για σχεδιασμό και εξέλιξη των κλινικών AI, που μπορεί να αλλάξει τη γαλήνη της ιατρικής.