[Origineel gepubliceerd als zomerblog op de website van het Kenniscentrum Data & Maatschappij]
Wat als we de koers waar de huidige Big Tech op vaart doorzetten naar een verre toekomst? Dat is waar Marc-Uwe Kling een voorstelling van probeert te maken in zijn boek ‘QualityLand’. In dit satirische verhaal bouwt de auteur een toekomstige wereld die soms hilarisch, maar vooral ook zorgwekkend is. Het leven van de burgers van QualityLand is volledig ‘geoptimaliseerd’ met algoritmes die bepalen wie de beste partner voor ze is, welke producten ze moeten kopen en op wie ze best stemmen. Het verhaal bevat een aantal opkomende technologieën waarvan de grote schaal waarmee ze worden gebruikt ons nu nog als onwerkelijk in de oren klinkt, zoals zelfrijdende auto’s, social scoring en sociale androids. Als lezer zijn de ethische en maatschappelijke bezwaren makkelijk op te pikken, maar de burger van QualityLand accepteert het allemaal met een verbazingwekkende nonchalance. In deze blogpost zal ik het verhaal en de wereld van QualityLand onder de loep nemen en reflecteren op de lessen die we hieruit kunnen leren.
Het verhaal
Welkom in QualityLand, het beste land ter wereld. Hier zijn marktwerking en consumerisme zo’n groot goed dat het repareren van producten verboden is, het land zelf een ‘rebranding’ van de naam heeft gehad en je als lezer ook tussen de tekst door “gepersonaliseerde” advertenties en nieuwsartikelen te zien krijgt. Een universeel ranking systeem bepaalt het niveau van de burger en wat die wel en niet kan doen, van sociale voordelen tot carrièremogelijkheden. Zodra je tot onder niveau 10 komt, word je ‘Nutteloos’ genoemd en wordt het bijna onmogelijk om weer op te klimmen.
We volgen onder andere Peter, die tot niveau 10 is afgezakt na een bericht van QualityPartner, de tinder van de toekomst, dat zijn relatie is beëindigd omdat het algoritme een betere match heeft gevonden voor zijn vriendin. Peter is een machine scrapper: hij heeft als taak om de niet-werkende en afgedankte machines, zoals een drone die bang is om te vliegen, te vernietigen. Hij kan het alleen niet over zijn hart verkrijgen om dat te doen en verzamelt de imperfecte machines in het geheim in zijn kelder. Op een dag ontvangt Peter een pakketje van TheShop, ‘de winkel die jouw pakketje al bezorgd voordat jij weet dat je het wil hebben’, waarvan hij zeker weet dat hij het echt niet wil hebben: een roze dolfijn vibrator. TheShop weigert om het pakket terug te nemen, omdat het algoritme altijd correct is. Zo begint een kruistocht van een Nutteloos en een groep afgedankte robots tegen het black-box algoritme van TheShop en alle waarden waarop QualityLand is gebouwd.
Tegelijkertijd volgen we John of Us, een android die de eerste robot president van QualityLand wil worden. Hij heeft feitelijk en objectief berekend wat het beste is voor de burgers van QualityLand en pleit onder andere voor een universeel basisinkomen, maar hij heeft nog moeite om de burgers zelf hiervan te overtuigen. Zeker met een far-right opponent als Conrad Cook die het volk makkelijk in de hand kan houden aan de hand van leugens, fake news en schreeuwerigheid (doet dit niet aan iemand denken?). Lukt het deze karakters om het tij van QualityLand te keren naar een meer menselijke samenleving?
Wat kunnen we leren van dit verhaal?
De karakters in het boek blijven erg vlak, maar Kling geeft een duidelijke waarschuwing over hoe onmenselijk en autoritair digitale innovatie in combinatie met extreem, ongereguleerd kapitalisme kan worden. De wereld geschetst door Kling bezorgt een onbehaaglijk gevoel, maar werkt tegelijkertijd ook op de lachspieren. Dit maakt dat het boek op een vrij luchtige manier toch een goede introductie biedt tot de maatschappelijk en ethische problemen rond digitale technologie.Een aantal duidelijke ethische thema’s blijken belangrijk om mens en technologie op een veilige en rechtvaardige manier te laten samenwerken:
Autonomie: De algoritmes van de grote tech bedrijven bepalen alles voor de QualityLand burgers en zij hebben daar geen keuze in. Als je in het stemhokje staat en je krijgt de vraag ‘Wil je op Conrad Cook stemmen?’, of als QualityPartner een betere match voor jou heeft gevonden, is het enige mogelijke antwoord optie ‘OK’. De QualityLand burgers hebben geen autonomie meer over hun eigen leven.
Transparantie: In QualityLand heeft elke burger een profiel op basis waarvan de verschillende algoritmes werken, maar dit profiel is verborgen als een trade secret. Als individu is het helemaal niet duidelijk hoe de algoritmes tot bepaalde uitkomsten komen. Als Peter probeert erachter te komen wat zijn profiel is, en waarom hij een roze vibrator heeft ontvangen (die hij moest aannemen), dan wordt hij van alle kanten tegengewerkt.
Controle: Een burger, en eigenlijk niemand, heeft controle over wat het algoritme beslist. Er is geen mogelijkheid om je profiel aan te passen of te verbeteren. Ook is er geen ‘human-in-the-loop’ meer die kan checken wat het algoritme aan het doen is en eventueel kan bijsturen waar nodig.
Echokamers & confirmation bias: In alle digitale technologieën, is personalisatie zo ver doorgeslagen dat burgers van verschillende niveaus in totaal verschillende werelden leven. Ze krijgen andere nieuwsberichten te zien, komen op andere plekken en zien andere, gepersonaliseerde versies van dezelfde films en series. Je ziet zo ook dat burgers worden bevestigd in hun vooroordelen en telkens dezelfde meningen en ideeën te zien krijgen, waardoor kritisch denken steeds zeldzamer is geworden.
Conclusie
Dit was maar een greep uit de maatschappelijke thema’s die spelen in het verhaal, want het boek zit volgepakt met ethische vraagstukken en verwijzingen naar bestaande maatschappelijke discussies rondom technologie. Het feit dat wij deze discussies momenteel al voor een groot deel voeren, maakt dat ik nog wel hoopvol ben dat we niet in dit overdreven scenario terecht gaan komen met z’n allen. Maar daarvoor is het wel belangrijk om niet in de discussie te blijven hangen en ook tot actie over te gaan. Wat QualityLand duidelijk laat zien is dat alleen ethisch ontwerp van technologie niet genoeg is, maar dat ook kritische burgers en de economisch-politieke stimulans voor maatschappelijk ondernemen een belangrijke rol spelen in hoe onze toekomst er morgen uit gaat zien.
