Google wil de oproepen van zijn gebruikers scannen om te waarschuwen voor telefoonfraude – en veroorzaakt horror. Experts op het gebied van gegevensbescherming waarschuwen: zodra de technologie op het apparaat staat, zal dit nog meer verlangen opwekken – met verstrekkende gevolgen voor de democratie.
Een aankondiging van Google zorgt er momenteel voor dat beveiligingsonderzoekers over de hele wereld enthousiast worden. Maandag gaf het bedrijf tijdens zijn jaarlijkse ontwikkelaarsconferentie een voorproefje van een nieuwe functie die binnenkort in het Android-besturingssysteem zal worden geïntegreerd: met behulp van zijn Gemini-taalmodel wil Google oproepen scannen op verdachte patronen om te waarschuwen gebruikers van mogelijke telefoonfraude.
Dergelijke oplichtingsoproepen, waarbij criminelen zich voordoen als bankmedewerkers om toegangsgegevens te bemachtigen, veroorzaken wereldwijd grote schade. Veel mensen trappen hierin. Google wil je hier nu tegen beschermen met pop-upmeldingen op het scherm: ‘Waarschijnlijk fraude’ zou er moeten zijn en een verzoek om het gesprek te beëindigen.
Dit klinkt als een handige feature die volgens Google ook optioneel zal worden. Tegelijkertijd is dit precies het soort aankondiging waar deskundigen op het gebied van gegevensbescherming aandacht aan besteden. Het gaat om de technologie achter de waarschuwingen, want ook al noemt Google het niet zo, het gaat om scannen aan de clientzijde: het automatisch scannen en rasteren van inhoud in je eigen privécommunicatie op je eigen apparaat.
Deuropener voor het scannen van privécommunicatie
Er wordt momenteel op politiek niveau heviger over de nieuwe technologie gevochten dan over bijna iets anders in de EU. Volgens de wens van de Europese Commissie zou het kunnen worden gebruikt om afbeeldingen van seksueel geweld tegen kinderen (CSAM) op apparaten te zoeken; pogingen om contact met minderjarigen te initiëren zouden zelfs moeten worden opgespoord om misbruik te voorkomen.
Apple deed in 2021 al een poging om dergelijk client-side scannen te introduceren en voelde de gevolgen. De aankondiging dat privéfoto’s in iCloud op CSAM zouden worden gescand, veroorzaakte zoveel verontwaardiging dat Apple van de plannen afzag . De druk van de politiek op technologiebedrijven blijft echter enorm.
Een geplande EU-regelgeving, die critici slechts chatcontrole noemen , loopt momenteel vast omdat de staten in de Raad het niet eens kunnen worden. Maar het Belgische voorzitterschap van de Raad blijft druk uitoefenen.
Bij het controleren van chats worden aanbieders van communicatie- en hostingdiensten geacht op verzoek de privéafbeeldingen, video’s en berichten van hun gebruikers te scannen. Ze moeten zoeken naar bewijzen van seksueel geweld tegen kinderen of pogingen van volwassenen om misdaden tegen minderjarigen te initiëren. Scannen aan de clientzijde is een mogelijke technologie om dit te implementeren.
Experts op het gebied van cryptografie en gegevensbescherming waarschuwen al sinds het begin van het initiatief voor de gevolgen: zodra de technologie op de apparaten staat, kan de privécommunicatie van miljoenen mensen massaal worden doorzocht op welke inhoud dan ook. Zelfs de gegevensbeschermingsautoriteiten van de EU omschrijven dit als onevenredig en waarschuwen voor de gevaren voor de democratie als mensen het gevoel hebben dat ze voortdurend in de gaten worden gehouden.
Gevaarlijke patroonherkenning: eerst telefoonfraude, dan abortus
Na de aankondiging van Google klinken de toch al bekende stemmen opnieuw luid in het debat. Meredith Whittaker, hoofd van de gecodeerde messenger Signal, beschrijft de plannen als “ongelooflijk gevaarlijk” en wijst erop hoe snel andere criminele activiteiten die dezelfde technologie gebruiken, het doelwit zouden kunnen zijn. “Het is een kleine stap van het opsporen van ‘fraude’ naar ‘het herkennen van patronen die vaak worden geassocieerd met het zoeken naar reproductieve zorg’ of ‘die vaak worden geassocieerd met het verstrekken van LGBTQ-middelen’ of ‘die vaak worden geassocieerd met het klokkenluiden van technologiemedewerkers.’
Beveiligingsonderzoeker Carmela Troncoso, die crytografie doceert aan EPFL in Lausanne, uitte ook haar afschuw : “We hebben herhaaldelijk gewezen op de gevaren van scannen aan de clientzijde. Het gaat hier niet om het opsporen van CSAM. Fraudedetectie brengt hetzelfde probleem met zich mee: er is geen garantie dat de technologie niet zal worden misbruikt. Het feit dat Google de potentiële negatieve gevolgen van dit idee negeert, is beangstigend.”
Troncoso is een van de honderden veiligheids- en privacy-experts die vorige week in een open brief aan de Commissie waarschuwden voor de gevolgen van de plannen: de scanopdrachten zouden miljoenen valse alarmen per dag kunnen veroorzaken. Het voorstel creëert ook “ongekende mogelijkheden om internetgebruikers te monitoren en te controleren. Dit ondermijnt een veilige digitale toekomst voor onze samenleving en kan enorme gevolgen hebben voor democratische processen in Europa en daarbuiten.”