Chatcontrole is de verkeerde manier

Het idee van een niet-uitgelokte chatcontrole stuitte op weerstand van de academische wereld: driehonderd ondertekenaars van een internationale open brief meldden “ernstige bedenkingen” bij het voorstel. Bekende onderzoekers en wetenschappers uit meer dan dertig landen voeren technische argumenten aan tegen de geplande systematische monitoring.

Een internationale open brief uit de wetenschap levert vandaag goede argumenten in de politieke strijd om chatcontrole . Meer dan 300 ondertekenaars uit meer dan 30 landen spreken de leden van het Europees Parlement en alle lidstaten van de Raad van de Europese Unie toe. Wie de brief leest, zal zich onvermijdelijk afvragen hoe het mogelijk is dat de EU-Commissie doorgaat met haar plan, gezien de overduidelijke technische onzin.

De reguleringsgedachte, in dit land vaak kortweg chatcontrole genoemd , staat internationaal bekend onder de term Child Sexual Abuse Regulation en is bedoeld om afbeeldingen van seksueel misbruik tegen te gaan. 

Voorgestelde EU-wetgeving zou internetproviders verplichten om te zoeken naar illegale inhoud die geweld en misbruik tegen kinderen afbeeldt en deze naar een EU-centrum te sturen. Volgens een officieel bevel moeten hiervoor massa’s berichten, afbeeldingen, e-mails of spraakberichten van gebruikers worden gescand. In het geval van end-to-end versleutelde diensten moet deze screening worden uitgevoerd op de apparaten van de gebruikers zelf. De technische term hiervoor is client-side scanning (CSS).

Onder de ondertekenaars van de open brief bevinden zich bekende internationale wetenschappers op het gebied van informatica en aanverwante gebieden en vooraanstaande encryptieonderzoekers. Onder hen zijn enkele gerenommeerde wetenschappers als de Brit Ross Anderson, de Australische Vanessa Teague, de Zwitserse Carmela Troncoso en bekroonde Amerikaanse onderzoekers als Ron Rivest, Bruce Schneier, Susan Landau of Matt Blaze, die zich in 2021 al presenteren met een technisch perspectief waarschuwde risico’s van scannen aan de clientzijde (pdf).

In de open brief benadrukken ze nogmaals dat CSS een gevaarlijke technologie is en noch veilig noch effectief is om dergelijk verboden materiaal te vinden. Er zou simpelweg geen software zijn die een verstandige technische oplossing zou zijn. Een dergelijke technologie is ook “de komende tien tot twintig jaar” niet te verwachten. Bovendien zouden er grote gevaren zijn voor zowel de privacy als de veiligheid van mensen.

Veel valse vermoedens

De wetenschappers twijfelen aan het nut van de technische implementatie van het reguleringsidee: ze rapporteren “ernstige bedenkingen” of de technologieën effectief kunnen zijn voor het doel van de regulering. Want wie wil, kan scansoftware omzeilen of andere technologieën gebruiken om verboden materiaal uit te wisselen.

De wetenschappers wijzen op het al lang bekende en bewezen probleem dat scantechnologieën op basis van hashfuncties gemakkelijk voor de gek kunnen worden gehouden. Als u bijvoorbeeld zelfs maar kleine wijzigingen in een afbeelding aanbrengt, wordt er een andere hash-waarde berekend, waardoor de scansoftware de afbeelding niet herkent als een reeds bekende afbeelding.

Ook valt te verwachten dat er een zeer groot aantal dossiers ten onrechte als vermoedelijke gevallen worden opgegeven, die tegelijkertijd aanzienlijke middelen opslokken die dan ontbreken in de daadwerkelijke strijd tegen de afbeeldingen van geweld. Bovendien zou elk individu voortdurend het gevaar lopen valselijk verdacht te worden van het verhandelen van verboden materiaal. Dergelijke valse meldingen zijn “een statistische zekerheid” bij het gebruik van kunstmatige intelligentieprocessen en zijn ook onvermijdelijk.

Er zijn lange tijd ernstige twijfels geweest of een dergelijk onuitgelokt toezicht op individuele communicatie in overeenstemming is met de Europese grondrechten . Chatcontrole is technisch gezien de verkeerde manier, sommen de wetenschappers nu op.

Wat u moet doen om kinderen beter te beschermen tegen geweld: vertrouw op de gemeenschappen. Bestaande regelgeving zoals de Platformwet DSA verplicht aanbieders al om het voor gebruikers makkelijker te maken om te klagen en verboden materiaal te melden. Op een heel praktische manier, en in tegenstelling tot mechanische processen, zou dat juist zinvolle informatie opleveren over verboden afbeeldingen van geweld.

Hier is de bewoording van de open brief van wetenschappers en onderzoekers over de geplande EU-regelgeving.

Datum: 4 juli 2023

Gezamenlijke verklaring van wetenschappers en onderzoekers over de door de EU voorgestelde verordening inzake seksueel misbruik van kinderen

Geachte leden van het Europees Parlement,
Geachte leden van de Raad van de Europese Unie,

De ondertekenaars van deze verklaring zijn wetenschappers en onderzoekers van over de hele wereld.

Eerst en vooral erkennen we dat seksueel misbruik en uitbuiting van kinderen een zeer ernstig misdrijf is dat levenslange schade kan toebrengen aan overlevenden. Het is de verantwoordelijkheid van de overheid, met de steun van bedrijven en gemeenschappen, om effectieve interventies te ondernemen om deze misdaad te voorkomen en er snel op te reageren als het toch gebeurt.

De Europese Commissie heeft een wetsvoorstel ingediend met als uitdrukkelijk doel de verspreiding van online materiaal met seksueel misbruik van kinderen en het online verzorgen van kinderen een halt toe te roepen. Om dit te doen, staat de wet autoriteiten toe aanbieders van apps of andere online diensten te dwingen de berichten, afbeeldingen, e-mails, voicemails en andere activiteiten van hun gebruikers te scannen. In het geval van end-to-end versleutelde apps wordt beweerd dat dit scannen kan worden gedaan op de apparaten van gebruikers – het zogenaamde ‘Client-Side Scanning’ (CSS).

De effectiviteit van de wet (voor de gestelde doelen) is afhankelijk van het bestaan ​​van effectieve scantechnologieën. Helaas vertonen de scantechnologieën die momenteel bestaan ​​en die in het verschiet liggen, grote gebreken. Deze tekortkomingen, die we hieronder in detail beschrijven, betekenen dat scannen gedoemd is ineffectief te zijn. Bovendien veroorzaakt het op grote schaal integreren van scannen in apps die op gebruikersapparaten draaien, en met name in een mondiale context, neveneffecten die voor iedereen online zeer schadelijk kunnen zijn en die het internet en de digitale samenleving voor iedereen onveiliger kunnen maken.

Aangezien de door ons beschreven problemen betrekking hebben op maatregelen die de kern vormen van het wetgevingsvoorstel van de EU, is het onze professionele aanbeveling als wetenschappers om een ​​dergelijk voorstel niet door te voeren. 

Het is niet haalbaar of houdbaar om van particuliere bedrijven te eisen dat ze technologieën gebruiken op manieren waarvan we al weten dat ze niet veilig kunnen worden gedaan – of zelfs helemaal niet. Gezien de gruwelijke aard van seksueel misbruik van kinderen, is het begrijpelijk, en zelfs verleidelijk, te hopen dat er een technologische interventie is die het kan uitroeien. Maar als we de kwestie holistisch bekijken, kunnen we niet aan de conclusie ontsnappen dat het huidige voorstel niet zo’n interventie is.

Het aannemen van deze wetgeving ondermijnt het doordachte en scherpzinnige werk dat Europese onderzoekers hebben geleverd op het gebied van cyberbeveiliging en privacy, waaronder bijdragen aan de ontwikkeling van wereldwijde coderingsstandaarden. Dergelijke ondermijning zal het klimaat voor veiligheids- en privacywerk in Europa verzwakken, waardoor ons vermogen om een ​​veilige digitale samenleving op te bouwen, afneemt.

De voorgestelde verordening zou ook een wereldwijd precedent scheppen voor het filteren van internet, het controleren van wie er toegang toe heeft en het wegnemen van enkele van de weinige hulpmiddelen die mensen ter beschikking hebben om hun recht op een privéleven in de digitale ruimte te beschermen. Dit zal een huiveringwekkend effect hebben op de samenleving en zal waarschijnlijk een negatieve invloed hebben op democratieën over de hele wereld.

We waarschuwen dan ook ten zeerste tegen het nastreven van deze of soortgelijke maatregelen, aangezien hun succes niet mogelijk is gezien de huidige en voorzienbare technologie, terwijl hun potentieel voor schade aanzienlijk is.

1. Detectietechnologieën vertonen grote gebreken en zijn kwetsbaar voor aanvallen

Hulpmiddelen die worden gebruikt voor het scannen op bekend materiaal over seksueel misbruik van kinderen (CSAM) mogen zelf geen CSAM-materiaal bevatten, aangezien dit grote risico’s met zich meebrengt. De enige schaalbare technologie om dit probleem aan te pakken, is dus door de bekende inhoud te transformeren met een zogenaamde perceptuele hash-functie en door een lijst met de resulterende hash-waarden te gebruiken om te vergelijken met potentieel CSAM-materiaal. 

Een perceptuele hash-functie moet twee doelen bereiken: (i) het moet gemakkelijk te berekenen zijn maar moeilijk om te keren en (ii) kleine veranderingen in een afbeelding moeten resulteren in kleine veranderingen in de hash-output, wat betekent dat zelfs na beeldmanipulatie de bekend beeld kan nog steeds worden gedetecteerd. Hoewel dit eenvoudig klinkt, is er na meer dan twee decennia onderzoek geen substantiële vooruitgang geboekt bij het ontwerpen van functies die aan deze eigenschappen voldoen.

Onderzoek heeft aangetoond dat het voor alle bekende perceptuele hash-functies vrijwel altijd mogelijk is om kleine wijzigingen in een afbeelding aan te brengen die resulteren in een grote verandering van de hash-waarde, waardoor detectie kan worden omzeild (vals-negatief). Bovendien is het ook mogelijk om een ​​legitieme afbeelding te maken die ten onrechte als illegaal materiaal wordt gedetecteerd, aangezien deze dezelfde hash heeft als een afbeelding in de database (false positive). 

Dit kan zelfs worden bereikt zonder de hash-database te kennen. Een dergelijke aanval zou kunnen worden gebruikt om onschuldige gebruikers in de val te lokken en wetshandhavingsinstanties te overspoelen met valse positieven, waardoor middelen worden afgeleid van echte onderzoeken naar seksueel misbruik van kinderen.

Deze aanvallen zijn niet theoretisch: voor concrete ontwerpen als Photo DNA, de PDQ-hashfunctie van Facebook en de NeuralHash-functie van Apple zijn in de literatuur efficiënte aanvallen beschreven. 

De enige manier om dergelijke aanvallen voorlopig te voorkomen, is door de beschrijving van de perceptuele hashfunctie geheim te houden. Deze “security by obscurity” druist niet alleen in tegen de basisprincipes van beveiligingstechniek, maar is in de praktijk alleen haalbaar als de perceptuele hashfunctie alleen bekend is bij de serviceprovider. In het geval van end-to-end-codering moet de hash-bewerking plaatsvinden op het clientapparaat. Het ontwerp geheim houden is dus een illusie.

Als wetenschappers verwachten we niet dat het in de komende 10-20 jaar haalbaar zal zijn om een ​​schaalbare oplossing te ontwikkelen die op de apparaten van gebruikers kan draaien zonder illegale informatie te lekken en die bekende inhoud (of inhoud afgeleid van of gerelateerd aan bekende inhoud) op een betrouwbare manier, dat wil zeggen met een acceptabel aantal valse positieven en negatieven.

Het voorstel van de Europese Commissie gaat verder dan het opsporen van bekende inhoud. Het vereist ook dat nieuw gegenereerde afbeeldingen of video’s met CSAM moeten worden gedetecteerd op basis van tools voor “kunstmatige intelligentie”. Bovendien vereist het voorstel dat grooming in communicatiediensten, waaronder zowel tekst als audio, moet worden gedetecteerd met behulp van vergelijkbare technieken. Hoewel sommige commerciële spelers beweren dat ze vooruitgang hebben geboekt, blijven de ontwerpen geheim en heeft er geen open en objectieve evaluatie plaatsgevonden die hun effectiviteit aantoont. Bovendien suggereert de stand van de techniek op het gebied van machine learning dat dit veel verder gaat dan wat vandaag haalbaar is. In werkelijkheid,

AI-tools kunnen worden getraind om bepaalde patronen met hoge precisie te identificeren. Ze maken echter routinematig fouten, inclusief fouten die voor een mens erg basaal lijken. Dat komt omdat AI-systemen context en gezond verstand missen. Er zijn enkele taken waarvoor AI-systemen zeer geschikt zijn, maar het zoeken naar een zeer genuanceerde, gevoelige misdaad – en dat is wat groominggedrag is – behoort niet tot deze taken.

Op de schaal waarop privécommunicatie online wordt uitgewisseld, zou zelfs het scannen van de berichten die in de EU worden uitgewisseld op slechts één app-provider betekenen dat er elke dag miljoenen fouten worden gegenereerd. Dat betekent dat bij het scannen van miljarden afbeeldingen, video’s, teksten en audioberichten per dag het aantal valse positieven in de honderden miljoenen zal lopen. Het lijkt verder waarschijnlijk dat veel van deze valse positieven zelf diep privé, waarschijnlijk intiem en volledig legaal beeldmateriaal zullen zijn dat wordt verzonden tussen instemmende volwassenen.

Met innovatie is dit niet te verbeteren: ‘false positives’ (content die ten onrechte wordt aangemerkt als onrechtmatig materiaal) zijn een statistische zekerheid als het om AI gaat. Valse positieven zijn ook onvermijdelijk als het gaat om het gebruik van detectietechnologieën, zelfs voor bekend CSAM-materiaal. 

De enige manier om dit terug te brengen tot een aanvaardbare foutmarge, is door alleen te scannen in enge en echt gerichte omstandigheden waar er een voorafgaand vermoeden is, evenals voldoende personeel om de fout-positieven aan te pakken – anders kunnen de kosten onbetaalbaar zijn gezien de grote aantal mensen dat nodig zal zijn om miljoenen teksten en afbeeldingen te beoordelen. Dit is niet wat wordt beoogd door het voorstel van de Europese Commissie.

Het rapportagesysteem dat in het concept-CSAM-voorstel wordt voorgesteld, zal waarschijnlijk nieuwe aanvallen op detectietechnologieën aanmoedigen. Dit komt omdat providers op dit moment de vrijheid hebben om overduidelijke valse waarschuwingen eruit te filteren. Onder het nieuwe systeem zouden ze echter verplicht zijn om zelfs inhoud te melden die waarschijnlijk geen CSAM is. Naast de aanvallen die we noemen, beginnen er nog veel meer op gespecialiseerde academische locaties te verschijnen, en we verwachten dat er nog veel meer worden voorbereid door degenen die gemotiveerd zijn om illegaal materiaal te delen.

Ten slotte wordt beweerd dat het detecteren van CSAM mogelijk moet zijn, aangezien het scannen op computervirussen een veelgebruikte technologie is. Hoewel beide oppervlakkig gezien op elkaar lijken, zijn er essentiële verschillen. Als er een computervirus wordt gedetecteerd, wordt de gebruiker eerst gewaarschuwd en kan het virus worden verwijderd. 

Ten tweede kan een virus worden herkend op basis van een kleine unieke substring, wat niet het geval is voor een foto of video: het zou heel gemakkelijk zijn om een ​​unieke substring te wijzigen of te verwijderen met kleine wijzigingen die het uiterlijk niet veranderen; dit doen voor een virus zou de code onbruikbaar maken. Ten slotte kunnen machine learning-technieken soms viraal gedrag identificeren, maar alleen wanneer dergelijk gedrag nauwkeurig kan worden gedefinieerd (bijvoorbeeld code die zichzelf kopieert) en dus kan worden gedetecteerd. Dit is in tegenstelling tot het definiëren van CSAM waarvoor duidelijke grenzen niet gemakkelijk kunnen worden vastgesteld.

2. Technische implicaties van verzwakking van end-to-end-encryptie

End-to-end-codering is zo ontworpen dat alleen de afzender en ontvanger de inhoud van een bericht of andere communicatie kunnen zien. Versleuteling is het enige hulpmiddel dat we hebben om onze gegevens in de digitale wereld te beschermen; van alle andere tools is bewezen dat ze gecompromitteerd zijn. 

Het gebruik van linkencryptie (van gebruiker naar service provider en van service provider naar gebruiker) met decryptie in het midden zoals gebruikt in het mobiele telefoonsysteem is in de huidige dreigingsomgeving geen acceptabele oplossing. Het is duidelijk dat end-to-end encryptie het onmogelijk maakt om scanning voor bekende of nieuwe content en detectie van grooming bij de dienstverlener uit te voeren.

Om dit te verhelpen, is een reeks technieken genaamd “Client-Side Scanning” (CSS) voorgesteld als een manier om toegang te krijgen tot gecodeerde communicatie zonder de codering te verbreken. Dergelijke tools zouden naar verluidt werken door inhoud op het apparaat van de gebruiker te scannen voordat deze is gecodeerd of nadat deze is gedecodeerd, en vervolgens te rapporteren wanneer er illegaal materiaal wordt gevonden. Je zou dit kunnen vergelijken met het plaatsen van videocamera’s in onze huizen om naar elk gesprek te luisteren en rapporten te sturen als we over ongeoorloofde onderwerpen praten.

De enige implementatie van CSS in de vrije wereld was door Apple in 2021, waarvan zij beweerden dat het state-of-the-art technologie was. Deze poging werd na minder dan twee weken ingetrokken vanwege zorgen over de privacy en het feit dat het systeem al was gekaapt en gemanipuleerd.

Wanneer CSS op het apparaat van een persoon wordt ingezet, werkt het als spyware, waardoor kwaadwillenden gemakkelijk toegang kunnen krijgen tot dat apparaat. Elke wet die CSS zou verplichten, of elke andere technologie die is ontworpen om toegang te krijgen tot de inhoud van communicatie, deze te analyseren of te delen, zal ongetwijfeld de codering ondermijnen en daardoor de communicatie van iedereen minder veilig maken. Het prijzenswaardige doel om kinderen te beschermen verandert niets aan deze technische realiteit.

Zelfs als een dergelijk CSS-systeem zou kunnen worden bedacht, bestaat er een extreem hoog risico dat het wordt misbruikt. We verwachten dat er substantiële druk zal worden uitgeoefend op beleidsmakers om de reikwijdte uit te breiden, eerst om rekrutering van terroristen op te sporen, dan andere criminele activiteiten, en dan dissidente uitlatingen. 

Het zou bijvoorbeeld voldoende zijn voor minder democratische regeringen om de database met hash-waarden die doorgaans overeenkomen met bekende CSAM-inhoud (zoals hierboven uitgelegd) uit te breiden met hash-waarden van kritiek op het regime. Aangezien de hash-waarden geen informatie geven over de inhoud zelf, zou het voor buitenstaanders onmogelijk zijn om dit misbruik op te sporen. De CSS-infrastructuur zou dan kunnen worden gebruikt om alle gebruikers met deze inhoud direct aan deze overheden te melden.

Als een dergelijk mechanisme zou worden geïmplementeerd, zou dit gedeeltelijk door middel van beveiliging door obscuriteit moeten zijn, omdat het anders gemakkelijk voor gebruikers zou zijn om de detectiemechanismen te omzeilen, bijvoorbeeld door de database met hash-waarden te legen of sommige verificaties te omzeilen. Dit betekent dat de transparantie van de applicatie wordt geschaad, wat door sommige actoren kan worden gebruikt als een sluier om meer persoonlijke gebruikersgegevens te verzamelen.

3. Effectiviteit

We hebben ernstige bedenkingen of de door de verordening opgelegde technologieën effectief zouden zijn: daders zouden op de hoogte zijn van dergelijke technologieën en zouden overstappen op nieuwe technieken, diensten en platforms om CSAM-informatie uit te wisselen en detectie te omzeilen.

De voorgestelde verordening zal de vrijheid van kinderen om zich te uiten aantasten, aangezien hun gesprekken ook alarm kunnen veroorzaken. Nationale strafrechtshandhaving op het terrein gaat doorgaans op een genuanceerde manier om met intieme berichten tussen tieners, zowel rond de meerderjarigheid.

 Deze technologieën veranderen de relatie tussen individuen en hun apparaten, en het zal moeilijk zijn om dergelijke nuance opnieuw aan te brengen. Voor andere gebruikers maken we ons grote zorgen over de huiveringwekkende effecten die worden veroorzaakt door de aanwezigheid van deze detectiemechanismen.

Ten slotte zal het enorme aantal fout-positieven dat kan worden verwacht, een aanzienlijke hoeveelheid middelen vergen, terwijl het ernstige risico’s met zich meebrengt dat alle gebruikers onjuist worden geïdentificeerd. 

Deze middelen kunnen beter worden besteed aan andere benaderingen om kinderen te beschermen tegen seksueel misbruik. Hoewel het meeste kinderbeschermingswerk plaatselijk moet zijn, kan gemeenschapswetgeving een manier zijn om bestaande bevoegdheden (DMA/DSA) te gebruiken om sociale netwerkdiensten te verplichten om het voor gebruikers gemakkelijker te maken om over misbruik te klagen, aangezien het klachten van gebruikers zijn in plaats van AI die in de praktijk leiden tot de opsporing van nieuw misbruikmateriaal.

Lijst met handtekeningen onder deze open brief .