The social contract in times of Siri

I wrote this op-ed with Annelien Bredenoord, professor of Ethics of Biomedical Innovation and senator for D66, the progressive liberal party of the Netherlands. The piece first appeared in an edition of the magazine of the party’s scientific bureau, which was themed ‘the future of the rule of law’.

The article below is in Dutch, sorry. Consider using Google Translate for English.

View the article in original formatting (as PDF) by clicking the image below.

Het sociaal contract in tijden van Siri

Het lijkt zo simpel: stel je iPhone een vraag en Siri geeft het antwoord. Achter deze handeling gaan desondanks menselijke ontwerp- keuzes en een complexe combinatie van verweven technologieën op meerdere continenten schuil. Er komt veel bij kijken om een computer antwoord te laten geven op een vraag die een peuter nog zou kunnen beantwoorden. Informatietechnologie zoals Siri nu zorgt voor debat rond privacy en automatische besluitvorming, maar ook biotechnologie zal binnenkort leiden tot nieuwe morele en politieke vragen.

Een cocktail van converging technologies maakt de relatie tussen burger en overheid complexer. Technologie dringt door in zowel ons privédomein als in het publieke domein en raakt aan rechtstatelijke waarden zoals zelfbeschikking en gelijke behandeling: zal geautomatiseerde be- sluitvorming niet leiden tot bias? Krijgt iedereen straks dezelfde toegang tot nieuwe genetische technieken zoals CRISPR/Cas? Voelen mensen zich voldoende vrij om een nieuwe techniek níet te gebruiken? Het ontwerp en aanbod van technologie heeft dan ook vaak politieke aspecten, wat bijvoorbeeld als consequentie kan hebben dat er afstemming of regelgeving moet komen. Regulering van technologiebedrijven is echter niet eenvoudig, omdat technologiebedrijven inmiddels allemaal in een sterk geglobaliseerd speelveld opereren en omdat er meer nodig is dan alleen klassieke privacyrechten beschermen.

Onderwerp van dit artikel is de invloed van technologie op onze rechtsstaat. Hebben we een nieuw sociaal contract nodig als gevolg van technologisering? Hier zullen wij betogen dat een sociaal-liberale agenda van negatieve en positieve rechten bij uitstek geschikt is om uit te stijgen boven de doorlopende morele en politieke dilemma’s waar technologie ons voor zal blijven stellen. Er ligt een kans voor sociaal-liberale politiek in het formuleren van deze moderne agenda.

Elke technologie heeft een eigen script

Laten we vast een misverstand uit de weg nemen: de auteurs van dit stuk zijn geen technologie-bashers. Al 100.000 jaar geleden leerden onze voorouders vuur maken en hadden ze door dat gekookt voedsel gezonder en voedingsrijker is dan rauw voedsel. De geschiedenis van de mens is een door en door technologische geschiedenis. Je kunt je je ertegen verzetten, maar het heeft meer zin om je af te vragen hoe we technologie zo kunnen vormgeven dat publieke waarden bevorderd worden en de negatieve bijeffecten zoveel mogelijk verminderd worden—en niet ongelijkmatig terecht komen bij bepaalde groepen.

Er zijn genoeg voorbeelden van technologie die het individu emancipeert en nieuwe vrijheden brengt, van de drukpers tot de anticonceptiepil. Op eenzelfde manier heeft het internet de potentie om mensen samen te brengen, van ongekende hoeveelheden informatie te voorzien en grenzen te doen vervagen. Recente biotechnologie, te beginnen met genetische modificatie techniek CRISPR/Cas, biedt mogelijkheden om het DNA van alle levende organismen te veranderen, waaronder planten, dieren en mensen. Dit biedt de kans om resistente gewassen te maken en erfelijke genetische ziekten te voorkomen.

Het is desondanks niet alleen hosannah voor de vooruitgang. Door de komst van het internet zitten we nu met het maatschappelijke probleem van geïndividualiseerde desinformatie en wordt rijkelijk in illegale goederen gehandeld op het ‘dark web’. Wie de verslavende Netflix-serie Black Mirror kijkt, weet dat de schaduwkant van technologie voor ethische en politieke vragen zal blijven zorgen.

Een belangrijke vaststelling is hierbij dat technologische ontwikkelingen nooit alleen maar goed of slecht zijn – maar net zomin zijn ze neutraal. Elk technologische ontwerp heeft een eigen script en maakt daarmee nieuwe vormen van gedrag mogelijk. Een pistool kan in handen van een politieagent of een terrorist zowel goed als kwaad doen, maar is hoe dan ook meer geschikt voor gewelddadigheid dan om, zeg, frisbee mee te spelen. Zo zet deze technologie aan tot bepaald gedrag. In de meeste democratische samenlevingen is daarom het bezit van vuurwapens streng gereguleerd.

Technologie is dus nooit neutraal. Om de gevolgen van een technologische ontwikkeling in te kunnen schatten en te beïnvloeden, kan men daarom in een vroeg stadium de hard and soft impacts van technologie in kaart brengen. De eerste betreft de kwantificeerbare impact van de technologie, zoals economische waarde en risico’s. De tweede betreft meer impliciete gedrags- en waardenveranderingen die het script van de technologie teweeg brengt. Een voorbeeld: door de komst van email kunnen we nu goedkoop en snel communiceren (hard impact), maar worden gebruikers van de technologie ook aangezet om altijd bereikbaar te zijn en in het weekend door te werken (soft impact). Een ander voorbeeld: door de komst van DNA-testen voor en tijdens de zwangerschap kunnen wensouders nauwkeurig in beeld krijgen of hun toekomstige kind risico loopt op ernstige ziekten en syndromen (hard impact), maar het al dan niet ondergaan van zo’n genetische test wordt ook een keuze waar een moeilijke beslissing aan vooraf gaat, hetgeen raakt aan allerlei opvattingen over kwaliteit van leven (soft impact).

Het doel van het uitvoeren van een impactanalyse is om bewust te kunnen bepalen of impacts worden geaccepteerd, gemitigeerd, of gecompenseerd. Voor de impact van technologieën op rechtsstatelijke waarden is die vraag des te moeilijker. Wat is het effect op vrije meningsuiting van het contentbeleid van Facebook? Verandert het gelijkheidsbeginsel als gevolg van mogelijkheden om DNA aan te passen? Waar technologie raakt aan rechtsstatelijke waarden, zou het ontwerp van deze technologie ook een politieke vraag moeten zijn.

Van burger naar gebruiker

Hoewel wij vinden dat het ontwerp van technologie in bepaalde gevallen ook een politieke vraag moet zijn, krimpt niettemin het handelings- perspectief van de wetgever steeds verder in. Kijk maar naar de grote ontwikkelingen van deze tijd: het internet, machine learning, analyse en aanpassing van het menselijk genoom door middel van DNA-sequencing en -modificatie. Het zijn veelal private ondernemingen of internationale actoren die deze technologieën ontwikkelen en daardoor bepalen tot welke impacts deze leiden. Zo zijn de eerste ‘CRISPR babies’ gemaakt in een lab in China, door een onderzoeker die tegen de internationale consensus in zijn experimenten heeft doorgezet.

Het is dus niet alleen meer wetgeving die ons gedrag stuurt, maar net zo zeer het ontwerp van de technologie die wij gebruiken. ‘Code is law’ schreef Lawrence Lessig. Het adagium in Silicon Valley is echter: move fast and break things. Je hoeft maar een krant open te slaan om te zien hoe technologiebedrijven als Uber, Amazon en Facebook de gevestigde orde ter discussie stellen. Dat zal in de toekomstige publiek-private ontwikkeling van biotechnologie niet anders zijn. Een eerste blik hierop krijgen wij nu al in de vorm van bedrijven die inzicht in familiegeschiedenis verkopen door DNA-analyse.

Technologiebedrijven brengen hiermee de wetgever in een moeilijke positie. De overheid heeft een verantwoordelijkheid om de burger te be- schermen en haar grondrechten te garanderen, maar effectief reguleren is lastig omdat technologiebedrijven vaak internationaal opereren. Zo vermindert de zeggenschap van de overheid over de lotsbestemming van haar burgers. Zonder meer wordt de relatie tussen burger en overheid – zo je wilt, het sociaal contract – door de tussenkomst van technologiebedrijven complexer. Door een beter begrip te krijgen van deze complexiteit kunnen we de impact van technologie op rechtsstatelijke waarden sturen.

Op dit moment uit de onmacht van overheden zich vaak in reactieve verboden. Zo worden sociale mediabedrijven gedwongen om hun servers binnen de jurisdictie van Russische opsporingsinstanties te plaatsen. Doen ze dit niet, dan worden ze geblokkeerd aan de grens. De Chinese staat ging nog een stap verder en heeft simpelweg eigen alternatieven voor Google en Facebook ontwikkeld – de rijke data over haar burgers die dit opleverde wordt nu gebruikt om de macht van het Politburo te consolideren.

In een open democratische samenleving is het volledig weren van technologiebedrijven lastig en ongewenst. Dat is misschien een vloek voor de wetgever maar ook een zegen voor grondrechten, zoals het voorbeeld van Chinese overheidscontrole op sociale media laat zien. Omdat wij technologie meestal niet volledig zullen weren, maakt dat dat wij bepaalde impacts zullen moeten accepteren of beter proberen te sturen: medevormgever worden.

Samenwerking en inspraak

De inzet van progressieve liberale politiek moet niet zijn om technologie te verbieden, maar om het individu te helpen om betekenisvol een weg te vinden in de door en door technologiserende maatschappij. Technologie is niet neutraal, dus normatieve keuzes zijn hierbij onvermijdelijk. Zoals wij hebben betoogd is ethisch begrip van de hard en soft impacts van een technologische ontwikkeling nodig om deze te kunnen duiden. Dit is het beginpunt van zinvol normerend optreden.

Een voorbeeld van moderne regulering is hoe Amsterdam grenzen heeft gesteld aan Airbnb-verhuur. Om de soft impacts van grote hoeveelheden rolkoffers op het leefklimaat in de stad te beperken, mag verhuren nu een maximum van 30 nachten per jaar. Die limiet is een normatieve keuze. Het tegengaan van illegale verhuur gebeurt in samenwerking met het techbedrijf zelf: Airbnb biedt op adressen binnen in Amsterdam simpelweg niet meer de mogelijkheid om de verhuurlimiet te overschrijden. Code is law. Dit laat zien dat de gemeente Amsterdam waarschijnlijk meer kon betekenen voor haar inwoners door samen te werken met het technologiebedrijf, dan met alleen een verbod op verhuursites en alle problemen met handhaving die daarbij zouden komen kijken.

Zulke eisen stellen aan technologiebedrijven is misschien niet voor elke (lokale) wetgever haalbaar. Daarbij kan gezamenlijk optreden helpen, bijvoorbeeld in nationaal of eU-verband. Toegang tot de Europese markt is een overtuigende wortel om technologiebedrijven voor te houden. Met Europees mededingingsrecht werd Microsoft zo gedwongen om andere browsers dan alleen haar eigen Internet Explorer een eerlijke kans te geven op Windows computers. En recenter slaagde de AVG-privacyregels erin een wereldwijde norm te vestigen: ook technologiebedrijven in het buitenland die in Europa zaken willen kunnen doen moeten eraan ge- loven. Sindsdien nam onder ander Argentinië strenge privacywetgeving aan naar model van de AVG. Deze voorbeelden laten zien dat de rol van de wetgever verandert, maar nog lang niet is uitgespeeld.

Het sturen en soms inperken van de impacts van technologie is een belangrijke stap, maar gaat volgens ons nog niet ver genoeg. Veel soft impacts zijn immers onbedoeld of impliciet; zij blijken pas in een laat stadium. Daarom is de vraag wie er bij het ontwerp van een technologie aan de tekentafel zit – of achter het toetsenbord – minstens zo belangrijk. Wie besluit er over het contentbeleid op Instagram en of daar een foto met tepel publiceren is toegestaan? Welke biotechnoloog zal straks uitmaken of een bepaald persoonlijk kenmerk zoals sproeten geldt als bijzonder of als afwijkend? Daarom zou progressieve liberale politiek naast traditionele bestuurlijke interventies zich ook hard moeten maken om de burger – in de rol van gebruiker – digitaal en technologisch te emanciperen en meer inspraak te geven in technologische systemen. Laat de Instagramgebruikers bijvoorbeeld stemmen over contentbeleid: wat willen wij dat op dit gezamenlijke platform wel en niet door de beugel kan? Dit raakt aan wat Sheila Jasano kenmerkt als de co-productie van kennis en regels: technologie en samenleving verhouden zich dynamisch tot elkaar.

Concluderend kan de wetgever haar rol in het waarborgen van rechts- statelijke waarden nog steeds vervullen mits er een goed begrip is van de mogelijke hard and soft impacts van technologische ontwikkelingen. Door gezamenlijk op te trekken kunnen overheden ook aan geglobaliseerde technologiebedrijven hierin het hoofd bieden en medevormgever worden van technologie. Daarnaast kan het individu geëmancipeerd worden in haar relatie tot deze bedrijven. Vormen van directe inspraak, op individueel of collectief niveau, maken dat ook nieuw sociaal contract zou kunnen ontstaan tussen de gebruiker en het technologiebedrijf. De technologische samenleving heeft dus niet minder rechtsstatelijkheid nodig, maar meer.

Xander Bouwman
Xander Bouwman
PhD Candidate

Cybersecurity threat information sharing.