Apple wil in de toekomst iMessage-berichten direct op het toestel scannen en actie ondernemen tegen kindermishandeling. Dit brengt de gegevensbescherming en privacy in gevaar. Overheden proberen al toegang te krijgen tot versleutelde berichten. Apple biedt je nu een kant-en-klare monitoringtool.
Kurt Opsahl is plaatsvervangend directeur en hoofd van de juridische afdeling van de digitale burgerrechtenorganisatie Electronic Frontier Foundation (EFF). Deze tekst verscheen voor het eerst op “Deeplink”, de EFF-blog, en is hier gepubliceerd onder de CC BY 3.0-licentie. Vertaald uit het Engels door Holly Hildebrand voor netzpolitik.org.
Apple wil in de toekomst afbeeldingen scannen die via iMessage worden verzonden. Apple controleert de berichten op de eindapparaten van de gebruikers. Met dit project wijkt de groep af van haar eerdere standpunt over gegevensbescherming en privacy en devalueert ze het idee achter end-to-end encryptie .
Apple wil met zijn scanproject actie ondernemen tegen beelden van seksueel misbruik van kinderen (CSAM). Tegelijkertijd creëert de groep een infrastructuur die de monitoring en censuur van berichten in de toekomst zal vergemakkelijken. Verschillende landen proberen al jaren controle te krijgen over versleutelde communicatie .
Toegang tot berichten in platte tekst is niet compatibel met sterke codering. Aanbieders maken hier bezwaar tegen als overheden toegang tot data eisen. Het antwoord hierop: bedrijven moeten harder werken om een oplossing te vinden. Tot nu toe heeft Apple zich verdedigd tegen de uitgebreide eisen van sommige regeringen door simpelweg niet aan hen te kunnen voldoen. Met zijn nieuwe project ondermijnt de groep zijn eigen strategie.
Tot nu toe deinzen de VS er niet voor terug om toegang te krijgen tot versleutelde communicatie – desnoods met behulp van huiszoekingsbevelen of door bedrijven ertoe aan te zetten gegevens ‘vrijwillig af te staan’. Elk huiszoekingsbevel dat door de regering wordt bevolen, is echter onderworpen aan het “vierde amendement”.
Dit vierde amendement op de Amerikaanse grondwet definieert de bescherming van de persoonlijke levenssfeer of, meer in het algemeen, de bescherming van burgers tegen staatsaanvallen. Het is ook van toepassing in het geval dat een particulier bedrijf een door de overheid bevolen huiszoeking uitvoert.
Een “resolutie” voor massasurveillance zonder verdenking zou daarom ongrondwettelijk zijn. Volgens een federaal hof van beroep van de VS “schenden huiszoekingsbevelen … fundamenteel de principes van het vierde amendement als ze zo genereus en ruim zijn geformuleerd dat ze een virtuele, allesomvattende computerzoekopdracht mogelijk maken [.]”
Als de VS een wet willen aannemen die toestaat dat inhoud zonder huiszoekingsbevel kan worden gecontroleerd of gerapporteerd, zou dit constitutionele problemen opleveren. Hoewel Apple er niet in slaagt om zijn kleuren te tonen tegen Amerikaanse wetten die encryptie ondermijnen, beschermt de grondwet in dit geval de gebruiker tegen de ergste excessen. Een dergelijke grondwettelijke bescherming bestaat echter niet in elk land.
Censuur in de praktijk
Apple is wereldwijd actief, de telefoons en computers van het bedrijf worden over de hele wereld gebruikt. Dit betekent dat verschillende overheden druk uitoefenen op het bedrijf. Tot nu toe heeft Apple beloofd te weigeren “door de overheid gevraagde wijzigingen [in Apple-systemen] te ontwikkelen en door te voeren die de privacy van gebruikers in gevaar brengen”.
Het is één ding dat Apple zegt niet aan dergelijke eisen te willen voldoen. Tot nu toe heeft de groep echter kunnen beweren dat het niet aan dergelijke eisen heeft kunnen voldoen. Apple verliest de veel effectievere bescherming van een (feitelijk of waargenomen) onvermogen door zijn geplande project.
In de toekomst zal het bedrijf niet langer alleen moeten strijden voor gegevensbescherming, maar deze ook moeten onderhandelen en handhaven voor wetgevers en rechtbanken over de hele wereld. Apple heeft al vastgesteld dat het voor bedrijven moeilijk is om zichzelf de Chinese marktmacht te ontzeggen . En andere landen deinzen er niet voor terug om extreme druk uit te oefenen op operators . Om zijn belofte waar te maken, moet Apple deze druk op de lange termijn weerstaan.
Het is niet verwonderlijk dat autoritaire landen controle eisen over versleutelde berichten. Vooral omdat dit vaak de laatste kans is voor regimecritici om zich te organiseren en te communiceren. Uit onderzoek van CitizenLab blijkt bijvoorbeeld dat China de onversleutelde WeChat-dienst al in de gaten houdt. De Chinese overheid gebruikt vervolgens de afbeeldingen en bestanden die gebruikers delen op WeChat om censuuralgoritmen te trainen.
“Wanneer een bericht van de ene WeChat-gebruiker naar de andere wordt verzonden, gaat het via een server die wordt beheerd door Tencent (het moederbedrijf van WeChat). Hiermee wordt gecontroleerd of het bericht trefwoorden bevat die op de lijst met geblokkeerde termen staan. Pas dan wordt het bericht naar de ontvanger gestuurd”, legt Riana Pfefferkorn van de Stanford Internet Observatory uit. Volgens haar is WeChat een voorbeeld van “hoe een client-side scansysteem dat oorspronkelijk voor CSAM [materiaal voor seksueel misbruik van kinderen] is ontwikkeld, kan en zou worden gebruikt voor censuur en politieke vervolging.”
Druk op Apple neemt toe
Ook rechtsstaten oefenen sterke druk uit om encryptie te omzeilen. Een voorbeeld hiervan is een dreiging van de “Five Eyes”. Deze alliantie van de inlichtingendiensten van Canada, Nieuw-Zeeland, Australië, het Verenigd Koninkrijk en de VS kondigde in 2018 aan dat ze “technologische, juridische, wetgevende of andere maatregelen zouden nemen om toegangsoplossingen te bereiken” mochten providers hen niet vrijwillig toegang verlenen tot versleutelde berichten.
Onlangs hebben de Five Eyes hun eis voor ongecodeerde toegang tot berichten niet alleen gerechtvaardigd met de dreiging van terrorisme, maar ook met CSAM. Desalniettemin zullen de “Five Eyes” waarschijnlijk pas tevreden zijn als de door surveillance verkregen data dan ook gebruikt kunnen worden voor rechtshandhaving.
In democratische landen, wanneer bedrijven zich niet aan de regels houden, veranderen regeringen wetten om hen onder druk te zetten. Veranderingen die op deze manier tot stand worden gebracht, worden vervolgens vaak nagebootst door landen met zwakkere democratische instellingen en slechte staat van dienst op het gebied van mensenrechten.
Hun regeringen gebruiken vaak een vergelijkbare juridische taal. Dit is echter mede gebaseerd op zeer verschillende opvattingen over openbare orde en staatsveiligheid. De opvattingen over ontoelaatbare inhoud, van obsceniteit tot onfatsoenlijkheid tot politieke uitspraken, lopen vaak sterk uiteen. Dit is gevaarlijk.
Landen met zwakkere democratische instellingen zullen niettemin beweren niet te verschillen van democratische staten. Als soevereine naties vinden ze dat hun openbare orde net zo gerechtvaardigd moet zijn. Uw regeringen zullen beweren dat als Apple volgens zijn wetten toegang verleent aan een staat, het toegang moet verlenen aan andere landen onder dezelfde voorwaarden.
Toezicht door de wet afdwingen
De Britse “Investigatory Powers Act” implementeert de dreiging van de Five Eyes. Het stelt de Britse minister van Buitenlandse Zaken in staat om kennisgevingen over technische bekwaamheid uit te vaardigen. Deze verplichten operators om technische mogelijkheden te creëren voor “ondersteuning bij de tenuitvoerlegging van een bevel tot aftappen, een bevel om apparaten te verstoren of een bevel of machtiging om communicatiegegevens te verkrijgen”.
Toen het Britse parlement de IPA besprak, waarschuwde de EFF dat “om de uitvoering van een bestelling voor een apparaatstoring te vergemakkelijken, bedrijven kunnen worden gedwongen een update te leveren en hun klanten niet op de hoogte te stellen”.
Volgens het IPA moet de staatssecretaris controleren of “de technische mogelijkheid om [zijn] bevel uit te voeren” wordt gegeven. Gezien de infrastructuur die nodig is voor de projecten van Apple, zal het in de toekomst moeilijker zijn om te zeggen dat uitgebreidere monitoring technisch niet haalbaar is. We vrezen ook dat het VK zou kunnen proberen Apple te dwingen een update te implementeren die de huidige functionaliteit van het geplande iMessage-scanprogramma uitbreidt naar andere doelen en voorziet in een uitgebreidere rapportagevereiste.
De iMessage-functie “communicatiebeveiliging”, waarmee Apple kinderen wil beschermen, is door het bedrijf zelf ontwikkeld. Dienovereenkomstig bepaalt alleen Apple de criteria op basis waarvan berichten worden gecontroleerd, accounts worden gescand of inhoud wordt gerapporteerd. Het bedrijf controleert dus ook of en hoe functies of criteria van zijn programma worden gewijzigd. Apple zou echter de opdracht kunnen krijgen om zijn hash-matchingprogramma voor iPhoto op te nemen in de pre-screening van berichten.
Technieken voor conversie
Ook Australië probeert toegang te krijgen tot versleutelde berichten. De “Assistance and Access Act” vereist, net als zijn Britse tegenhanger, technische ondersteuning en monitoringcapaciteit. De Australische wet bevat echter veiligheidsmaatregelen. Een vereniging van maatschappelijke organisaties, technologiebedrijven en brancheverenigingen (waaronder EFF en – ziedaar – Apple ) bekritiseerde dit als ontoereikend.
Apple schrijft zelf in een petitie aan de Australische regering dat “de wetgever zou kunnen proberen providers te dwingen software te installeren of te testen, de toegang tot apparaten van klanten te vergemakkelijken, broncodes vrij te geven, elektronische handelsmerken te verwijderen, diensten te wijzigen of te vervangen, – om er maar een paar te noemen. voorbeelden”. Als Apple zich eens zou herinneren dat dezelfde technieken kunnen worden gebruikt om de reikwijdte van hun scaninspanningen te bepalen of te veranderen.
Canada heeft nog geen specifieke vereiste vastgesteld voor toegang tot berichten in het openbaar. De Canadese overheid is echter actief op zoek naar filterverplichtingen voor verschillende online platforms. Dit suggereert dat er in ieder geval een aantal strengere verplichtingen voor private messaging-applicaties zijn gepland.
Voor de Five Eyes gaat het vooral om monitoringmogelijkheden. India en Indonesië daarentegen zijn al halverwege met het censureren van inhoud. Begin dit jaar zijn de “Guidelines for Intermediaries and the Code of Ethics for Digital Media” (“Regels voor 2021”) van de Indiase overheid in werking getreden. Deze dwingen platforms direct om content vooraf te controleren.
Niet alleen toezicht, maar censuur
In reactie op kritiek van drie speciale VN-rapporteurs verdedigde India zijn 2021-regels over de gevaren voor kinderen. Daarbij negeerde de regering de veel uitgebreidere bepalingen over opsporing en censuur die ook waren opgenomen. De 2021-regels bepalen dat content vooraf automatisch wordt verwijderd of geblokkeerd. Dit was voorheen verboden volgens de Indiase wet.
Een paragraaf bepaalt bijvoorbeeld dat aanbieders “streven naar het gebruik van op technologie gebaseerde maatregelen (inclusief geautomatiseerde tools en dergelijke) om onafhankelijk informatie te identificeren” die op grond van de verordening verboden is.
De verboden omvatten de bescherming van “de soevereiniteit en integriteit van India, de veiligheid van de staat, vriendschappelijke betrekkingen met buitenlandse staten, de openbare orde, het fatsoen of de goede zeden”. Het is gemakkelijk in te zien dat deze formuleringen het recht op vrijheid van meningsuiting en politieke onenigheid in gevaar kunnen brengen.
Hoe gevaarlijk dit is, wordt geïllustreerd door de manier waarop India omgaat met de “Wet ter voorkoming van onwettige activiteiten”. Het werd naar verluidt gebruikt om academici, schrijvers en dichters te arresteren die demonstraties leidden of politieke berichten op sociale media plaatsten.
Instrument van controle
Het zou niet verwonderlijk zijn als India beweerde dat de scanoperatie van Apple een goed begin was om naleving van de 2021-regels af te dwingen – hoewel verdere aanpassingen nodig zouden zijn om volledig aan de regelgeving te voldoen. De Indiase regelgeving toont echter zowel de wens van de overheid als de wettelijke basis voor voorafgaande controle van versleutelde inhoud. De veranderingen van Apple maken het des te gemakkelijker om in deze dystopie te glijden.
Apple heeft beloofd te protesteren tegen een dergelijke uitbreiding. Voor de rechtbank zou het bedrijf kunnen stellen dat het niet voldoet aan de definitie van een “socialemedia-tussenpersoon” zoals uiteengezet in de 2021-regels. Of, zoals WhatsApp en anderen al hebben gedaan, zich uitspreken voor het schrappen van de 2021-regels. Het geplande scanproject van Apple maakt het echter gemakkelijker voor wetgevers om hun controle uit te breiden.
Indonesië heeft onlangs ook een ministeriële verordening (“MR5”) uitgevaardigd . Dit vereist dat operators (inclusief aanbieders van instant messaging) ” ervoor zorgen” dat hun systeem “geen verboden [informatie] bevat […] noch de verspreiding ervan vergemakkelijken”. Alles wat “Indonesisch wetten schendt, onrust veroorzaakt in de gemeenschap of de openbare orde verstoort” wordt als verboden informatie beschouwd.
MR5 voorziet in onevenredige sancties als operators hun systeem niet controleren op deze “verboden inhoud”. Het is onder andere mogelijk om systemen volledig te blokkeren. De Indonesische regering zou de stap van Apple kunnen zien als een middel om de regelgeving af te dwingen – en Apple onder druk kunnen zetten om een uitgebreidere versie van zijn scanprogramma in Indonesië uit te rollen.
EU wil encryptie ondermijnen
De druk om de geplande scanactiviteiten van Apple uit te breiden naar meer landen en meer soorten inhoud zal toenemen. In het najaar van 2020 werden documenten van de Europese Commissie doorboord, waarin een anti-encryptiewet voor het Europees Parlement werd aangekondigd. Dezelfde wet werd dit jaar aangenomen .
Gelukkig bieden EU-richtlijnen bescherming tegen overmatige controle op berichten. Volgens de “E-Privacy-richtlijn” mogen EU-lidstaten geen algemene verplichting opleggen om informatie die door gebruikers wordt verzonden of opgeslagen, te controleren.
In dit verband heeft het Hof van Justitie van de Europese Unie uitdrukkelijk bepaald dat tussenpersonen niet verplicht mogen worden hun diensten in het algemeen te controleren om illegale activiteiten van hun gebruikers op te sporen of te voorkomen. Een dergelijke verplichting zou onverenigbaar zijn met het billijkheids- en evenredigheidsbeginsel.
Wel heeft Politico een intern document gepubliceerd waarin de Europese Commissie zich heeft gecommitteerd aan een actieplan voor de verplichte detectie van CSAM door de betreffende online dienstverleners (verwacht vanaf december 2021). Dit plan voorziet client-side scans als oplossing: het idee was dat deze ook zouden kunnen worden toegepast op beveiligde berichten-apps, aangezien de end-to-end encryptie behouden zou blijven.
Voor de beleidsmakers die bedrijven aanspoorden om harder hun best te doen, is het net zo goed om harder hun best te doen met hun woordkeuze. Uw doel is om toegang te krijgen tot gecodeerde communicatie – als dit kan worden bereikt op een manier die een nauwkeuriger gedefinieerde end-to-end-codering kan behouden, des te beter.
Beledigend gebruik
Er is niet veel voor nodig om de deur open te duwen die het plan van Apple op een kier zet. Het zou onder andere mogelijk zijn om de parameters voor machine learning uit te breiden om naar extra soorten inhoud te zoeken, de iPhoto-hash-matching in iMessage toe te passen of de configuratie-eigenschappen te wijzigen zodat het niet langer alleen kinderaccounts zijn, maar elke gebruiker kan gescand worden.
Apple biedt een kant-en-klaar systeem – dat wacht op druk van buitenaf om de gewenste wijzigingen aan te brengen. China en ongetwijfeld andere landen hebben al hashes en capaciteiten voor het herkennen van inhoud om berichten te identificeren die volgens hun wetten illegaal zijn – zelfs als die inhoud moet worden beschermd volgens de internationale mensenrechtenwetgeving.
De manieren waarop het scanprogramma van Apple zou kunnen worden misbruikt, zijn gemakkelijk voor te stellen: regeringen die homoseksualiteit verbieden, zouden kunnen eisen dat een systeem wordt getraind om LGBTQ + -inhoud te beperken, een autoritair regime zou een programma kunnen vereisen om ongewenste satirische afbeeldingen of protestfolders te identificeren .
Nu Apple zo’n systeem heeft ontwikkeld, zullen deze eisen komen. Ondanks goede bedoelingen heeft Apple daarmee de deur geopend voor pogingen om de bescherming van gebruikers en hun communicatie te verzwakken – wereldwijd en legaal. Door dit te doen, heeft Apple de opvatting versterkt dat het acceptabel is om het persoonlijke leven en privécommunicatie te doorzoeken – zolang de bedoelingen eerlijk genoeg zijn.
Wij, de Electronic Frontier Foundation, dringen er bij Apple op aan om de slogan te onthouden die ze zo gedenkwaardig op een billboard hebben aangekondigd tijdens de CES-conferentie van 2019 in Las Vegas: “Wat er op je iPhone gebeurt, blijft op je iPhone.”