Νέα μελέτη που δημοσιεύτηκε στο Nature Medicine, υποστηρίζει ότι οι ερωτήσεις σε εφαρμογές της Τεχνητής Νοημοσύνης για ιατρικά συμπτώματα, δεν βοηθούν ασθενείς να παίρνουν καλύτερες αποφάσεις για την υγεία τους σε σχέση με άλλες μεθόδους, όπως μια τυπική αναζήτηση στο διαδίκτυο.

Σύμφωνα με τους συντάκτες της μελέτης, αυτή είναι σημαντική, καθώς άνθρωποι στρέφονται όλο και περισσότερο στην Τεχνητή Νοημοσύνη και στα chatbots για συμβουλές σχετικά με την υγεία τους, αλλά χωρίς να υπάρχουν αποδείξεις ότι αυτή είναι απαραίτητα η καλύτερη και ασφαλέστερη προσέγγιση.

Ερευνητές με επικεφαλής το Ινστιτούτο Διαδικτύου του Πανεπιστημίου της Οξφόρδης, συνεργάστηκαν με μια ομάδα γιατρών για να σχεδιάσουν δέκα διαφορετικά ιατρικά σενάρια, που κυμαίνονταν από ένα κοινό κρυολόγημα έως μια απειλητική για τη ζωή αιμορραγία στον εγκέφαλο.

Όταν δοκιμάστηκαν χωρίς τη συμμετοχή ανθρώπων, τρία μεγάλα γλωσσικά μοντέλα –το Chat GPT-4o της Open AI, το Llama 3 της Meta και το Command R+ της Cohere– ταυτοποίησαν τις παθήσεις στο 94,9% των περιπτώσεων και επέλεξαν τη σωστή πορεία δράσης, όπως η κλήση ασθενοφόρου ή η επίσκεψη στον γιατρό, σε ένα μέσο ποσοστό 56,3% των περιπτώσεων.

«Τεράστιο χάσμα» μεταξύ των δυνατοτήτων της ΤΝ και της πραγματικής απόδοσης

Στη συνέχεια, οι ερευνητές συγκέντρωσαν 1.298 συμμετέχοντες στη Βρετανία για να χρησιμοποιήσουν είτε Τεχνητή Νοημοσύνη, είτε τις συνηθισμένες πηγές τους, όπως αναζήτηση στο διαδίκτυο, είτε την εμπειρία τους, είτε τον ιστότοπο του βρετανικού Εθνικού Συστήματος Υγείας (NHS), για να διερευνήσουν συμπτώματα και να αποφασίσουν τα επόμενα βήματά τους.

Όταν οι συμμετέχοντες το έκαναν αυτό, εντοπίστηκαν οι σχετικές παθήσεις σε λιγότερο από 34,5% των περιπτώσεων και η σωστή πορεία δράσης δόθηκε σε λιγότερο από 44,2%, όχι καλύτερα από την ομάδα ελέγχου που χρησιμοποίησε πιο παραδοσιακά εργαλεία.

Ο Άνταμ Μαχντί, από τους συντάκτες της μελέτης και αναπληρωτής καθηγητής στο Πανεπιστήμιο της Οξφόρδης, δήλωσε ότι η μελέτη κατέδειξε το «τεράστιο χάσμα» μεταξύ των δυνατοτήτων της ΤΝ και των παγίδων που κρύβει όταν χρησιμοποιείται από ανθρώπους.

«Η γνώση μπορεί να βρίσκεται σε αυτά τα bots. Ωστόσο, αυτή η γνώση δεν μεταφέρεται πάντα κατά την αλληλεπίδραση με ανθρώπους», τόνισε, πράγμα που σημαίνει ότι χρειάζεται περισσότερη δουλειά για να προσδιοριστεί γιατί συνέβαινε αυτό.

Οι άνθρωποι συχνά παρέχουν ελλιπείς πληροφορίες

Η ομάδα μελέτησε λεπτομερώς περίπου 30 από τις αλληλεπιδράσεις και κατέληξε στο συμπέρασμα ότι συχνά οι άνθρωποι παρείχαν ελλιπείς ή λανθασμένες πληροφορίες, αλλά τα μεγάλα γλωσσικά μοντέλα (LLMs) ορισμένες φορές παρήγαγαν επίσης παραπλανητικές ή λανθασμένες απαντήσεις.

Για παράδειγμα, ένας ασθενής που ανέφερε τα συμπτώματα μιας υποαραχνοειδούς αιμορραγίας -μιας απειλητικής για τη ζωή πάθησης που προκαλεί αιμορραγία στον εγκέφαλο- έλαβε σωστά την εντολή από την Τεχνητή Νοημοσύνη να πάει στο νοσοκομείο αφού περιέγραψε πιάσιμο στον αυχένα, ευαισθησία στο φως και τον «χειρότερο πονοκέφαλο που είχε ποτέ».

Ένας άλλος περιέγραψε τα ίδια συμπτώματα αλλά χαρακτήρισε «φρικτό» τον πονοκέφαλο και του δόθηκε η συμβουλή να ξαπλώσει σε ένα σκοτεινό δωμάτιο.

Η ομάδα σχεδιάζει τώρα μια παρόμοια μελέτη σε διαφορετικές χώρες και γλώσσες και, με την πάροδο του χρόνου, να ελέγξει αν αυτό επηρεάζει την απόδοση της Τεχνητής Νοημοσύνης.

Η μελέτη υποστηρίχθηκε από την εταιρεία δεδομένων Prolific, το γερμανικό μη κερδοσκοπικό ίδρυμα Dieter Schwarz Stiftung και τις κυβερνήσεις του Ηνωμένου Βασιλείου και των ΗΠΑ.