Indignatie redactie 
Is ChatGPT een digitale speurneus voor rechercheurs? Nog steeds niet maar we zijn er bijna, ziet Hans Henseler. Vorig jaar concludeerde hij al wel dat het een slimme assistent voor rechercheurs kon worden. Dat is gedeeltelijk al gelukt maar de uitdaging is nog om dit on-premises te doen en niet afhankelijk te zijn van een groot taalmodel in de BigTech-cloud.
Begin 2023 stond de wereld versteld van ChatGPT 3, een deep neuraal netwerk met 170 miljard parameters. Nu, een jaar later, hebben we niet alleen veel betere modellen zoals ChatGPT 4 Turbo, maar blijkt ook dat we met die grote modellen synthetische data kunnen genereren waarmee we kleine modellen met 7 miljard of zelfs minder parameters kunnen trainen die net zo goed of zelfs beter zijn dan de versie van ChatGPT die we vorig jaar gebruikten (zie kader klein maar fijn).
Kleine modellen zijn sneller en vereisen veel minder hardware. Daarmee is een belangrijk bezwaar tegen ChatGPT, namelijk dat de gebruiker zijn gegevens moet delen met de cloud van OpenAI, verholpen.
Paar nadelen
Als digitale speurneus had ChatGPT 3 nog een paar andere nadelen. Het model geeft soms onjuiste of verzonnen antwoorden (ook wel hallucineren genoemd, wat overigens voor creatieve opdrachten een hele fijne eigenschap is), geeft geen bronverwijzingen en kan alleen vragen beantwoorden over informatie tot september 2021.
Inmiddels is ChatGPT 4 al bij tot april 2023 maar het blijft een probleem dat de kennis van ChatGPT statisch is. Met Retrieval Augmented Generation (RAG) is een taalmodel niet langer beperkt door de data waarmee het oorspronkelijk is getraind en krijgen gebruikers bij de antwoorden ook bronverwijzingen (zie kader Retrieval Augmented Generation en custom GPTs).
Custom GPTs kunnen, net als ChatGPT4, Bing Chat en Google Gemini, zoeken naar informatie op het internet en daar hun antwoorden op baseren. Daarnaast kunnen custom GPTs ook informatie raadplegen die alleen toegankelijk is via een API. Denk bijvoorbeeld aan geldwisselkoersen, wedstrijduitslagen, coördinaten van plaatsen, een interne database met producthandleidingen enz.
Er zijn zelfs custom GPTs die kunnen helpen bij het maken van presentaties, tekenen van diagrammen of ontwerpen van een logo. Sinds november zijn er maar liefst 3 miljoen custom GPTs gebouwd waarvan er 159.000 in de GPT Store te vinden zijn.
Taalmodellen als assistent lijken nu al niet meer weg te denken. Microsoft heeft de term copiloot in 2021 geïntroduceerd met Github copilot voor softwareontwikkelaars. In 2023 heeft Microsoft een hele reeks aan copilots gelanceerd met Bing Chat, Windows Copilot en Office 365 Copilot. Ook Google en Apple hebben vergelijkbare assistenten geïntroduceerd of aangekondigd. Kortom, iedereen die met een computer werkt, kan gebruik gaan maken van taalmodellen. Een copiloot die rechercheurs helpt bij het ontcijferen digitale sporen op zoek naar bewijs lijkt zeker haalbaar maar moet nog wel gebouwd worden.
Het belang en nut van taalmodellen staat niet ter discussie maar de Nederlandse overheid ziet wel risico’s in het kader van de bescherming van persoonsgegevens en mogelijke schending van het auteursrecht. In het GPT-NL-project werken TNO, SURF en het NFI samen aan een eigen taalmodel voor Nederland dat getraind zal worden op open data (zie kader Symposium E-Discovery).
Onderzoekers in het Datalab van het Ministerie van Justitie en Veiligheid experimenteren met RAG en ChatGPT in de trusted cloud in toepassingen voor verschillende justitieonderdelen. De bedoeling is dat uiteindelijk die toepassingen met GPT-NL of een klein lokaal taalmodel kunnen werken maar voorlopig werken ze met een gecontracteerde Enterprise oplossing van Microsoft.
Naast juridische complicaties zijn er ook voldoende technische uitdagingen. Met een custom GPT kan een copiloot gemaakt worden die vragen over een digitaal forensische tool kan beantwoorden. Denk aan het schrijven van zoekvragen en bij het ontwikkelen van software om gegevens te analyseren en rapporteren.
De uitdaging is om de kwaliteit van zo’n custom GPT te evenaren met een klein taalmodel. Een andere uitdaging is om het taalmodel verbinding te laten maken met een digitaal forensische tool. Dan kan de gebruiker namelijk met de copiloot een interactieve dialoog voeren over de digitale sporen die zijn verzameld in het onderzoek. De copiloot kan dan een rechercheur helpen met, bijvoorbeeld, sporen samenvatten, rapporteren, verbanden leggen of het sentiment van chats analyseren.
Retrieval-Augmented Generation en custom GPTs
De beperkingen van grote taalmodellen als gevolg van verouderde kennis en hallucinaties kunnen opgelost worden met behulp van Retrieval-Augmented Generation (RAG). RAG combineert retrieval (het zoeken naar relevante informatie in een externe database) met generatie (het creëren van antwoorden gebaseerd op die informatie) met taalmodellen. Dit proces helpt hallucinaties voorkomen doordat het model antwoorden baseert op actuele, geverifieerde informatie.
Vergelijk het met een onderzoeker die informatie op het internet raadpleegt om het meest relevante en actuele antwoord te geven. Met de open source software LangChain is het betrekkelijk eenvoudig om een RAG-applicatie te bouwen die werkt met een bestaand taalmodel. Nieuwe startups zoals CustomGPT.ai, PDF.ai, AskYourPDF.com, Perplexity.ai en ChatDoc.com bieden RAG als een service aan. OpenAI introduceerde in november vorig jaar RAG in de vorm van custom GPTs.
Een custom GPT is een combinatie van ChatGPT met een custom prompt aangevuld met een aantal documenten die ChatGPT raadpleegt door middel van RAG. Publieke custom GPTs zijn te vinden via de GPT-store die door OpenAI in januari is gelanceerd.
Phi-2, ontwikkeld door Microsoft Research, is een klein taalmodel met 2,7 miljard parameters dat opmerkelijke prestaties levert op diverse benchmarks in vergelijking met grotere modellen. Het model kan uitstekend redeneren en taal begrijpen en presteert beter dan sommige modellen die tot 25 keer groter zijn. Phi-2 volgt in een reeks van kleine taalmodellen die begon in de zomer bij Llama2-7b van Meta, Orca2 van Microsoft , Mistral en Mixtral van Mistral, Gemini Nano 2 van Google en Ferret van Apple.
Deze modellen kunnen gebruikers van smartphones, smart glasses en vr-brillen op een vloeiende manier helpen met spraak en beeld. Een klein model kan ook in betrekkelijk korte tijd gefinetuned worden. Dat scheelt in de kosten en het model begrijpt sneller wat er bedoeld wordt, geeft sneller antwoord en de kwaliteit van de antwoorden is beter. In combinatie met RAG kun je zo een slimme assistent bouwen die niet onder hoeft te doen voor een groot model als ChatGPT en op sommige terreinen zelfs veel meer weet.
Symposium E-Discovery
Het 14de E-Discovery Symposium van Hogeschool Leiden wordt 2 april gehouden met als thema praktische toepassingen van taalmodellen in digitaal forensisch onderzoek. Saskia Lensink van TNO zal meer vertellen over het GPT-NL project waarin TNO, SURF en het NFI een groot open taalmodel voor Nederland bouwen en toegankelijk te maken. Jakub Zavrel van Zeta Alpha legt uit hoe dankzij RAG grote taalmodellen gaan zorgen voor een nieuwe generatie zoektechnologieën.
Edwin Rijgersberg zal vertellen over het kleine Nederlandse taalmodel Geitje. Edwin is werkzaam bij het NFI in de afdeling Forensische Big Data Analyse maar heeft Geitje gefinetuned als hobby project.
Juridisch expert Yolanda van Setten gaat in op de kansen en risico’s van AI bij het bestrijden van ondermijning en het handhaven van de openbare orde.
Digitaal forensisch expert Abdul Boztas van het NFI geeft een presentatie over het Aardwolf project. In dit project voert het NFI samen met partners en academische instellingen experimenten uit om kennis te verzamelen over digitale sporen die door handelingen van gebruikers in mobiele telefoons ontstaan. Tenslotte zal lector Hans Henseler vooruitblikken op de ontwikkelingen op het gebied van grote en kleine taalmodellen en de kansen voor digitaal forensisch onderzoek. Deelname aan het symposium is gratis maar registratie is wel verplicht.
