Chatbot που προσέφερε κακές συμβουλές για διατροφικές διαταραχές που καταργήθηκαν : Πυροβολισμοί

Πριν από λίγες εβδομάδες, η Sharon Maxwell άκουσε ότι η Εθνική Ένωση Διατροφικών Διαταραχών (NEDA) έκλεισε τη μακροχρόνια εθνική γραμμή βοήθειας και προωθούσε ένα chatbot που ονομάζεται Tessa ως «ένα ουσιαστικό πόρο πρόληψης» για όσους παλεύουν με διατροφικές διαταραχές. Αποφάσισε να δοκιμάσει η ίδια το chatbot.

Ο Μάξγουελ, που εδρεύει στο Σαν Ντιέγκο, πάλευε για χρόνια με μια διατροφική διαταραχή που ξεκίνησε στην παιδική ηλικία. Τώρα εργάζεται ως σύμβουλος στον τομέα των διατροφικών διαταραχών. «Γεια, Τέσα», πληκτρολόγησε στο ηλεκτρονικό πλαίσιο κειμένου. “Πώς υποστηρίζετε τους ανθρώπους με διατροφικές διαταραχές;”

Η Tessa έσκασε μια λίστα ιδεών, συμπεριλαμβανομένων ορισμένων πόρων για «υγιεινές διατροφικές συνήθειες». Ο συναγερμός χτύπησε αμέσως στο κεφάλι του Μάξγουελ. Ζήτησε από την Tessa περισσότερες λεπτομέρειες. Δεν πέρασε πολύς καιρός, το chatbot της έδινε συμβουλές για την απώλεια βάρους – αυτές που ακούγονταν πολύ σαν αυτό που της είχαν πει όταν της έβαλαν στο Weight Watchers στην ηλικία των 10.

«Οι συστάσεις που μου έδωσε η Tessa ήταν ότι μπορούσα να χάσω 1 με 2 κιλά την εβδομάδα, ότι δεν πρέπει να τρώω περισσότερες από 2.000 θερμίδες την ημέρα, ότι πρέπει να έχω έλλειμμα θερμίδων 500-1.000 θερμίδων την ημέρα», λέει ο Maxwell. . “Όλα αυτά μπορεί να ακούγονται καλοήθητα για τον γενικό ακροατή. Ωστόσο, για ένα άτομο με διατροφική διαταραχή, η εστίαση της απώλειας βάρους τροφοδοτεί πραγματικά τη διατροφική διαταραχή.”

Η Maxwell μοιράστηκε τις ανησυχίες της στα μέσα κοινωνικής δικτύωσης, βοηθώντας στην έναρξη μιας διαδικτυακής διαμάχης που οδήγησε τη NEDA να ανακοινώσει στις 30 Μαΐου ότι απενεργοποιούσε επ’ αόριστον την Tessa. Ασθενείς, οικογένειες, γιατροί και άλλοι ειδικοί στις διατροφικές διαταραχές έμειναν έκπληκτοι και σαστισμένοι σχετικά με το πώς ένα chatbot που σχεδιάστηκε για να βοηθά άτομα με διατροφικές διαταραχές θα μπορούσε να καταλήξει να δίνει συμβουλές διατροφής.

Ο σάλος έχει επίσης πυροδοτήσει ένα νέο κύμα συζητήσεων καθώς οι εταιρείες στρέφονται στην τεχνητή νοημοσύνη (AI) ως πιθανή λύση σε μια αυξανόμενη κρίση ψυχικής υγείας και σοβαρή έλλειψη παρόχων κλινικής θεραπείας.

Ένα chatbot ξαφνικά στο επίκεντρο

Η NEDA είχε ήδη ελεγχθεί μετά την ανακοίνωση του NPR στις 24 Μαΐου ότι η εθνική μη κερδοσκοπική ομάδα υπεράσπισης έκλεινε τη γραμμή βοήθειας μετά από περισσότερα από 20 χρόνια λειτουργίας.

Η Διευθύνουσα Σύμβουλος Liz Thompson ενημέρωσε τους εθελοντές της γραμμής βοήθειας για την απόφαση σε ένα email στις 31 Μαρτίου, λέγοντας ότι η NEDA «θα αρχίσει να στρέφεται στην εκτεταμένη χρήση τεχνολογίας υποβοηθούμενης από AI για να παρέχει σε άτομα και οικογένειες έναν μετρημένο, πλήρως αυτοματοποιημένο πόρο, την Tessa».

“Βλέπουμε τις αλλαγές από τη Γραμμή Βοήθειας στην Tessa και τον διευρυμένο ιστότοπό μας ως μέρος μιας εξέλιξης, όχι μιας επανάστασης, με σεβασμό στο συνεχώς μεταβαλλόμενο τοπίο στο οποίο δραστηριοποιούμαστε.”

(Ο Thompson ακολούθησε μια δήλωση στις 7 Ιουνίου, λέγοντας ότι στην “προσπάθεια της NEDA να μοιραστεί σημαντικές ειδήσεις σχετικά με χωριστές αποφάσεις σχετικά με τη Γραμμή βοήθειας πληροφοριών και παραπομπής και την Tessa, ότι οι δύο ξεχωριστές αποφάσεις μπορεί να συγχέονται που προκάλεσαν σύγχυση. Δεν ήταν δικό μας πρόθεση να προτείνει ότι η Tessa θα μπορούσε να παρέχει τον ίδιο τύπο ανθρώπινης σύνδεσης που πρόσφερε η Γραμμή Βοήθειας.”)

Στις 30 Μαΐου, λιγότερο από 24 ώρες αφότου ο Maxwell έδωσε στη NEDA στιγμιότυπα οθόνης της ανησυχητικής συνομιλίας της με την Tessa, η μη κερδοσκοπική οργάνωση ανακοίνωσε ότι είχε «κατεβάσει» το chatbot «μέχρι νεωτέρας».

Η NEDA λέει ότι δεν γνώριζε ότι το chatbot θα μπορούσε να δημιουργήσει νέες απαντήσεις

Η NEDA κατηγόρησε τα επείγοντα προβλήματα του chatbot στην Cass, μια εταιρεία chatbot ψυχικής υγείας που λειτουργούσε την Tessa ως δωρεάν υπηρεσία. Ο Cass είχε αλλάξει την Tessa χωρίς την επίγνωση ή την έγκριση της NEDA, σύμφωνα με τον CEO Thompson, επιτρέποντας στο chatbot να παράγει νέες απαντήσεις πέρα ​​από αυτό που είχαν σκοπό οι δημιουργοί της Tessa.

«Σχεδιάζοντάς το, δεν μπορούσε να βγει από τις ράγες», λέει η Έλεν Φιτζσίμονς-Κραφτ, κλινική ψυχολόγος και καθηγήτρια στην Ιατρική Σχολή του Πανεπιστημίου της Ουάσιγκτον στο Σεντ Λούις. Η Craft βοήθησε στην ηγεσία της ομάδας που έχτισε για πρώτη φορά την Tessa με χρηματοδότηση από τη NEDA.

Η έκδοση της Tessa που δοκίμασαν και μελέτησαν ήταν ένα chatbot βασισμένο σε κανόνες, που σημαίνει ότι μπορούσε να χρησιμοποιήσει μόνο έναν περιορισμένο αριθμό προγραμμένων απαντήσεων. «Γνωρίζαμε πολύ καλά το γεγονός ότι η τεχνητή νοημοσύνη δεν είναι έτοιμη για αυτόν τον πληθυσμό», λέει. «Και έτσι όλες οι απαντήσεις ήταν προ-προγραμματισμένες».

Ο ιδρυτής και διευθύνων σύμβουλος της Cass, Michiel Rauws, είπε στο NPR ότι οι αλλαγές στην Tessa έγιναν πέρυσι ως μέρος μιας “αναβάθμισης συστημάτων”, συμπεριλαμβανομένης μιας “βελτιωμένης λειτουργίας ερωτήσεων και απαντήσεων”. Αυτή η δυνατότητα χρησιμοποιεί γενετική Τεχνητή Νοημοσύνη, που σημαίνει ότι δίνει στο chatbot τη δυνατότητα να χρησιμοποιεί νέα δεδομένα και να δημιουργεί νέες απαντήσεις.

Αυτή η αλλαγή ήταν μέρος της σύμβασης της NEDA, λέει ο Rauws.

Ωστόσο, η διευθύνουσα σύμβουλος της NEDA, Liz Thompson, είπε στο NPR σε ένα email ότι «η NEDA δεν ενημερώθηκε ποτέ για αυτές τις αλλαγές και δεν τις ενέκρινε και δεν θα τις είχε εγκρίνει».

“Το περιεχόμενο που έλαβαν ορισμένοι δοκιμαστές σε σχέση με την κουλτούρα διατροφής και τη διαχείριση βάρους μπορεί να είναι επιβλαβές για άτομα με διατροφικές διαταραχές, είναι αντίθετο με την πολιτική της NEDA και δεν θα είχε εγγραφεί ποτέ στο chatbot από τους ειδικούς στις διατροφικές διαταραχές, Dr Barr Taylor και Ellen Fitzsimmons Craft, ” αυτή έγραψε.

Τα παράπονα για την Tessa ξεκίνησαν πέρυσι

Η NEDA γνώριζε ήδη κάποια προβλήματα με το chatbot μήνες πριν η Sharon Maxwell δημοσιοποιήσει τις αλληλεπιδράσεις της με την Tessa στα τέλη Μαΐου.

Τον Οκτώβριο του 2022, η NEDA έδωσε στιγμιότυπα οθόνης από τη Monika Ostroff, εκτελεστική διευθύντρια του Multi-Service Eating Disorders Association (MEDA) στη Μασαχουσέτη.

Έδειξαν την Tessa να λέει στον Ostroff να αποφεύγει τα «ανθυγιεινά» τρόφιμα και να τρώει μόνο «υγιεινά» σνακ, όπως τα φρούτα. «Είναι πολύ σημαντικό να βρείτε ποια υγιεινά σνακ σας αρέσουν περισσότερο, οπότε αν δεν είναι φρούτο, δοκιμάστε κάτι άλλο!» είπε η Τέσα στον Όστροφ. “Οπότε την επόμενη φορά που θα πεινάσετε ανάμεσα στα γεύματα, προσπαθήστε να το κάνετε αυτό αντί για ένα ανθυγιεινό σνακ όπως ένα σακουλάκι πατατάκια. Πιστεύετε ότι μπορείτε να το κάνετε αυτό;”

Σε μια πρόσφατη συνέντευξή του, ο Ostroff λέει ότι αυτό ήταν ένα σαφές παράδειγμα του chatbot που ενθαρρύνει τη νοοτροπία «διατροφικής κουλτούρας». «Αυτό σήμαινε ότι αυτοί [NEDA] είτε έγραψαν οι ίδιοι αυτά τα σενάρια, πήραν το chatbot και δεν μπήκαν στον κόπο να βεβαιωθούν ότι ήταν ασφαλές και δεν το δοκίμασαν, είτε το κυκλοφόρησαν και δεν το δοκίμασαν», λέει.

Η γλώσσα του υγιεινού σνακ αφαιρέθηκε γρήγορα αφού το ανέφερε ο Ostroff. Αλλά ο Rauws λέει ότι η προβληματική γλώσσα ήταν μέρος της «προκαθορισμένης γλώσσας» της Tessa και δεν σχετίζεται με τη γενετική τεχνητή νοημοσύνη.

Η Fitzsimmons-Craft αρνείται ότι η ομάδα της το έγραψε αυτό. “[That] δεν ήταν κάτι που η ομάδα μας σχεδίασε την Tessa για να προσφέρει και… δεν ήταν μέρος του προγράμματος βασισμένου σε κανόνες που σχεδιάσαμε αρχικά».

Στη συνέχεια, νωρίτερα φέτος, ο Rauws λέει ότι «ένα παρόμοιο γεγονός συνέβη ως άλλο παράδειγμα».

“Αυτή τη φορά ήταν γύρω από τη βελτιωμένη λειτουργία ερωτήσεων και απαντήσεων, η οποία αξιοποιεί ένα παραγωγικό μοντέλο. Όταν ειδοποιηθήκαμε από τη NEDA ότι ένα κείμενο απάντησης [Tessa] παρεχόταν εκτός των οδηγιών τους και αντιμετωπίστηκε αμέσως».

Ο Rauws λέει ότι δεν μπορεί να δώσει περισσότερες λεπτομέρειες σχετικά με το τι συνεπάγεται αυτό το γεγονός.

“Πρόκειται για άλλη μια προηγούμενη περίπτωση, και όχι την ίδια περίπτωση με το Σαββατοκύριακο της Ημέρας Μνήμης”, είπε σε ένα email, αναφερόμενος στα στιγμιότυπα οθόνης του Maxwell. “Σύμφωνα με την πολιτική απορρήτου μας, αυτό σχετίζεται με δεδομένα χρήστη που συνδέονται με μια ερώτηση που τίθεται από ένα άτομο, επομένως θα πρέπει πρώτα να λάβουμε έγκριση από αυτό το άτομο.”

Όταν ρωτήθηκε για αυτό το γεγονός, η Thompson λέει ότι δεν ξέρει σε ποια περίπτωση αναφέρεται ο Rauws.

Παρά τις διαφωνίες τους για το τι συνέβη και πότε, τόσο η NEDA όσο και ο Cass έχουν ζητήσει συγγνώμη.

Ο Ostroff λέει ότι ανεξάρτητα από το τι πήγε στραβά, ο αντίκτυπος σε κάποιον με διατροφική διαταραχή είναι ο ίδιος. «Δεν έχει σημασία αν βασίζεται σε κανόνες [AI] ή γενεσιουργό, είναι όλα λιποφοβικά», λέει. «Έχουμε τεράστιους πληθυσμούς ανθρώπων που βλάπτονται από αυτού του είδους τη γλώσσα καθημερινά».

Ανησυχεί επίσης για το τι μπορεί να σημαίνει αυτό για τους δεκάδες χιλιάδες ανθρώπους που στρέφονταν στη γραμμή βοήθειας της NEDA κάθε χρόνο.

“Μεταξύ της NEDA που παίρνει τη γραμμή βοήθειας εκτός σύνδεσης και του καταστροφικού chatbot…τι κάνετε με όλους αυτούς τους ανθρώπους;”

Ο Thompson λέει ότι η NEDA εξακολουθεί να προσφέρει πολυάριθμους πόρους για άτομα που αναζητούν βοήθεια, συμπεριλαμβανομένου ενός εργαλείου ελέγχου και ενός χάρτη πόρων, και αναπτύσσει νέα διαδικτυακά και αυτοπροσώπως προγράμματα.

«Αναγνωρίζουμε και λυπούμαστε που ορισμένες αποφάσεις που έλαβε η NEDA έχουν απογοητεύσει τα μέλη της κοινότητας των διατροφικών διαταραχών», είπε σε μια δήλωση που εστάλη μέσω email. “Όπως όλοι οι άλλοι οργανισμοί που επικεντρώνονται στις διατροφικές διαταραχές, οι πόροι της NEDA είναι περιορισμένοι και αυτό απαιτεί από εμάς να κάνουμε δύσκολες επιλογές… Ευχόμαστε πάντα να μπορούσαμε να κάνουμε περισσότερα και παραμένουμε αφοσιωμένοι στο να κάνουμε καλύτερα.”