Indignatie redactie 
Een chatbot kan overtuigend advies geven, maar hij kan u niet vertellen waar het advies vandaan komt, waarom hij het advies geeft of hoe zijn ethische afwegingen zijn overwogen.
Velen van ons hebben te maken gehad met chatbots, de geautomatiseerde conversatieprogramma’s die bedoeld zijn om te helpen met zaken als onze bankzaken of een vraag van een nutsbedrijf. De recente introductie van grote taalmodellen (LLM’s) heeft deze bots en hun capaciteiten een boost gegeven, aangezien neurale netwerktaalmodellen nu spraakpatronen uit een groot aantal bronnen kunnen gebruiken om mensachtige interactieve gesprekken te genereren.
Met name het gebruik van chatbots in de geneeskunde heeft een veel langere geschiedenis dan men zou denken. In 1966 ontwikkelde Joseph Weizenbaum van het Massachusetts Institute of Technology het ELIZA-programma, dat natuurlijke taalverwerking gebruikte om een psychotherapeut na te bootsen door vragen of reflecties te bieden op basis van tekstinvoer van een ‘patiënt’.
Zoals je je misschien kunt voorstellen, gezien de vroege stadia van computerprogrammering, was dit een eenvoudig programma. Voor sommigen van degenen die het gebruikten, bleek het echter op een krachtige manier emotioneel boeiend te zijn. Zoals het verhaal gaat, toen Weizenbaum het systeem voor het eerst met zijn secretaresse uitprobeerde, vroeg ze hem na de eerste paar interacties de kamer te verlaten, zodat ze de discussies privé kon voortzetten.
Tegenwoordig is het gebruik van chatbots in de gezondheidszorg wijdverspreid – de meesten van ons onderzoeken onze symptomen al online met Dr. Google voordat ze “analoog” medisch advies inwinnen. Maar als we kijken naar het opmerkelijke conversatievermogen van de nieuwe LLM’s en hun potentieel om gezondheidsoplossingen te bieden, moeten we ons bewust zijn van zowel de voordelen als de risico’s die de technologieën met zich mee kunnen brengen.
chatbot : Weduwe wijt zelfdoding depressieve man aan zijn urenlange gesprekken met chatbot Eliza
In maart van dit jaar kreeg een andere chatbot, ELIZA, bekendheid in de media in België . Deze ELIZA was een door OpenAI aangedreven chatbot die beschikbaar was op een app genaamd Chai, die op de markt wordt gebracht als een algemene chatbot-app. En in de loop van zes weken van het bespreken van angsten voor het milieu met deze nieuwe ELIZA, maakte een man van in de dertig een einde aan zijn leven. Volgens berichten in de media had de app deze persoon aangemoedigd om dit te doen nadat hij had voorgesteld zichzelf op te offeren om de planeet te redden.
Als iemand deze ELIZA zou vragen of het een medisch apparaat is, zal het zeggen van niet, maar het heeft wel “tools ingebouwd in mijn systeem die gebruikers kunnen helpen bepaalde mentale gezondheidsproblemen te beheersen en te overwinnen.” Bovendien, als het detecteert dat een gebruiker “ernstige psychische problemen” heeft, zal het hen aanmoedigen om professionele hulp te zoeken, waardoor de software onder de definitie van een “medisch hulpmiddel” valt.
Deze tragische zaak toont de nieuwe soorten risico’s aan, en het veel grotere potentieel voor manipulatie, dat kan komen met algoritmen die oprechtheid of medeleven kunnen veinzen op een geheel nieuwe en meeslepende manier.
De regulering van MedTech is altijd achtergebleven bij de technologieën die het probeert te reguleren. Toen de eerste ELIZA in de jaren zestig werd opgericht, waren er al medische implantaten zoals pacemakers beschikbaar, maar het zou nog drie decennia duren voordat er in Europa regelgeving voor medische apparaattechnologieën werd ingevoerd. En toen ze voor het eerst werden geïntroduceerd, hadden deze regels geen betrekking op software – pas toen het systeem in 2017 werd bijgewerkt, werden enkele specifieke regels ingevoerd.
Bovendien zijn deze regels voor het reguleren van MedTech grotendeels ontwikkeld met het oog op fysieke producten, en veel van het werk dat nodig is om te voldoen aan de vereisten voor zaken als pacemakers, omvat het documenteren en beheersen van de risico’s die met een dergelijk apparaat gepaard gaan. Het is echter eenvoudigweg niet mogelijk om alle risico’s van generatieve modellen te identificeren, aangezien LLM’s werken op manieren die zelfs de ontwikkelaars niet helemaal begrijpen, waardoor het beheer ervan een echte uitdaging wordt.
Maar met de Wet Kunstmatige Intelligentie die de komende jaren waarschijnlijk van kracht wordt, zal de regulering in Europa toenemen. Maar toch valt nog te bezien hoe we ervoor zullen zorgen dat deze technologieën de juiste vangrails bevatten. Cruciaal is dat op LLM gebaseerde chatbots die medisch advies geven momenteel onder de regelgeving voor medische hulpmiddelen vallen, maar hun onbetrouwbaarheid verhindert hun goedkeuring als zodanig. Desondanks blijven ze beschikbaar.
De samenleving verwacht van artsen dat ze streng worden opgeleid en voortdurend worden geëvalueerd, en dat ze die kennis toepassen met expertise, mededogen en ethische normen. Dr. Chatbot kan ondertussen overtuigend advies geven, maar het kan u niet vertellen waar het advies vandaan kwam, waarom het het advies geeft of hoe zijn ethische afwegingen zijn overwogen.
Om hun plaats in het medische arsenaal te verdienen, moeten chatbots aantonen dat ze veilig en effectief zijn, maar ook dat ze schadelijke manipulatie kunnen voorkomen. Totdat de technologie en de regelgeving dit bereiken, moeten we ons allemaal bewust zijn van zowel het grote potentieel als de reële risico’s die ze met zich meebrengen wanneer er op medisch advies wordt vertrouwd.
