R. Classen / Shutterstock
AI-chatbots worden al op grote schaal gebruikt door bedrijven om klanten te begroeten en hun vragen te beantwoorden – via de telefoon of op websites. Sommige bedrijven hebben ontdekt dat ze tot op zekere hoogte mensen kunnen vervangen door machines in callcenterfuncties.
Het beschikbare bewijs suggereert echter dat er sectoren zijn – zoals de gezondheidszorg en human resources – waar uiterste zorgvuldigheid moet worden betracht bij het gebruik van deze eerstelijnshulpmiddelen, en ethisch toezicht noodzakelijk kan zijn.
Een recent en veelbesproken voorbeeld is dat van een chatbot genaamd Tessa, die werd gebruikt door de National Eating Disorder Association (NEDA) in de VS. De organisatie had aanvankelijk een hulplijn die werd beheerd door een combinatie van werknemers in loondienst en vrijwilligers. Deze had als expliciet doel kwetsbare mensen met eetstoornissen te helpen.
Dit jaar echter ontmantelde de organisatie haar hulplijnmedewerkers en kondigde aan dat ze hen zou vervangen door de Tessa chatbot. De redenen hiervoor worden betwist. Voormalige werknemers beweren dat de verschuiving volgde op een besluit van het hulplijnpersoneel om een vakbond op te richten. De vicepresident van NEDA noemde een toename van het aantal telefoontjes en wachttijden, evenals wettelijke verplichtingen rond het gebruik van vrijwillig personeel.
Hoe dan ook, na een zeer korte werkperiode werd Tessa offline gehaald na berichten dat de chatbot problematische adviezen had gegeven die de symptomen van mensen die hulp zochten voor eetstoornissen hadden kunnen verergeren.
Er werd ook gemeld dat Dr. Ellen Fitzsimmons-Craft en Dr. C Barr Taylor, twee hooggekwalificeerde onderzoekers die meewerkten aan de creatie van Tessa, hadden bepaald dat de chatbot nooit bedoeld was als vervanging voor een bestaande hulplijn of om onmiddellijke hulp te bieden aan mensen die intense eetstoornissymptomen ervaren.
Belangrijke upgrade
Waar was Tessa voor ontworpen? De onderzoekers hadden samen met collega’s een observationele studie gemaakt waarin de uitdagingen werden belicht waarmee ze werden geconfronteerd bij het ontwerpen van een regelgebaseerde chatbot voor interactie met gebruikers die zich zorgen maken over eetstoornissen. Het is fascinerend om te lezen en illustreert ontwerpkeuzes, handelingen, valkuilen en wijzigingen.
De oorspronkelijke versie van Tessa was een traditionele, regelgebaseerde chatbot, zij het een zeer verfijnde, dat wil zeggen een die een vooraf gedefinieerde structuur volgt op basis van logica. Hij kon niet afwijken van de gestandaardiseerde, voorgeprogrammeerde reacties die door zijn makers waren gekalibreerd.
Hun conclusie bevatte het volgende punt: “Regelgebaseerde chatbots hebben de potentie om tegen lage kosten grote populaties te bereiken door informatie en eenvoudige interacties te bieden, maar zijn beperkt in het begrijpen van en adequaat reageren op onverwachte reacties van gebruikers”.
AI chatbots worden al veel gebruikt om in gesprek te gaan met klanten of gebruikers van een dienst.
Tero Vesalainen / Shutterstock
Dit lijkt het gebruik waarvoor Tessa geschikt was te beperken. Dus hoe kwam het in de plaats van de hulplijn die eerder door NEDA werd gebruikt? De precieze gang van zaken staat ter discussie, maar volgens NPR veranderde het hostingbedrijf van de chatbot Tessa van een op regels gebaseerde chatbot met voorgeprogrammeerde antwoorden in een met een “verbeterde vraag- en antwoordfunctie”.
De latere versie van Tessa was er een met generatieve AI, net als ChatGPT en soortgelijke producten. Deze geavanceerde AI-chatbots zijn ontworpen om menselijke gesprekspatronen te simuleren met de bedoeling realistischere en nuttigere antwoorden te geven. Het genereren van deze op maat gemaakte antwoorden is afhankelijk van grote databases met informatie, die de AI-modellen trainen om te “begrijpen” door middel van een verscheidenheid aan technologische processen: machinaal leren, diep leren en natuurlijke taalverwerking.
Lessen leren
Uiteindelijk genereerde de chatbot wat is beschreven als potentieel schadelijke antwoorden op vragen van sommige gebruikers. De daaropvolgende discussies hebben de schuld van de ene instelling naar de andere verschoven. Het punt blijft echter dat de daaropvolgende omstandigheden mogelijk voorkomen hadden kunnen worden als er een instantie was geweest die ethisch toezicht had gehouden, een “human in the loop” en als men zich had gehouden aan het duidelijke doel van Tessa’s oorspronkelijke ontwerp.
Het is belangrijk om lering te trekken uit gevallen als deze tegen de achtergrond van een stormloop op de integratie van AI in allerlei systemen. En hoewel deze gebeurtenissen plaatsvonden in de VS, bevatten ze lessen voor degenen die hetzelfde willen doen in andere landen.
Het Verenigd Koninkrijk lijkt een enigszins gefragmenteerde aanpak van deze kwestie te hebben. De adviesraad van het Centre for Data Ethics and Innovation (CDEI) is onlangs opgeheven en zijn plaats aan tafel is ingenomen door de nieuw opgerichte Frontier AI Taskforce. Er zijn ook berichten dat er in Londen al wordt geëxperimenteerd met AI-systemen als hulpmiddel voor hulpverleners – maar niet als vervanging voor een hulplijn.
Beide voorbeelden benadrukken een potentiële spanning tussen ethische overwegingen en zakelijke belangen. We moeten hopen dat de twee uiteindelijk op één lijn komen te liggen, waarbij het welzijn van individuen in balans wordt gebracht met de efficiëntie en voordelen die AI zou kunnen bieden.
Maar op sommige gebieden waar organisaties interactie hebben met het publiek, zullen door AI gegenereerde reacties en gesimuleerde empathie misschien nooit genoeg zijn om echte menselijkheid en compassie te vervangen – met name op het gebied van geneeskunde en geestelijke gezondheid.
Mark Tsagas werkt niet voor, heeft geen adviesfuncties, bezit geen aandelen in en ontvangt geen financiering van bedrijven of organisaties die baat zouden hebben bij dit artikel en heeft geen relevante banden bekendgemaakt buiten zijn academische aanstelling.
