algoritme

Hoe een discriminatoir algoritme duizenden gezinnen ten onrechte beschuldigde van fraude

De Nederlandse belastingdienst gebruikte algoritmen om een ​​strenge en bestraffende oorlog tegen fraude op laag niveau te automatiseren – de resultaten waren catastrofaal.

Vorige maand nam premier Mark Rutte – samen met zijn hele kabinet – ontslag,  nadat anderhalf jaar onderzoek aan het licht bracht dat sinds 2013 26.000 onschuldige gezinnen ten  onrechte werden beschuldigd van uitkeringsfraude,  mede als gevolg van een discriminerend algoritme.

Gedwongen om geld terug te betalen dat ze niet verschuldigd waren, werden veel gezinnen tot financiële ondergang gedreven, en sommige werden uit elkaar gescheurd. Anderen bleven achter met blijvende geestelijke gezondheidsproblemen; mensen van kleur waren onevenredig veel slachtoffers. 

Na meedogenloze onderzoeksrapportage en een reeks parlementaire hoorzittingen zowel voorafgaand aan als na het massale ontslag, werd de rol van algoritmen en geautomatiseerde systemen in het schandaal duidelijk, wat onthulde hoe een strenge en bestraffende oorlog tegen fraude op laag niveau werd geautomatiseerd, waardoor er weinig ruimte overbleef voor verantwoordelijkheid of fundamenteel menselijk mededogen. Sterker nog, het geautomatiseerde systeem discrimineerde op basis van nationaliteit en markeerde mensen met een dubbele nationaliteit als waarschijnlijke fraudeurs. 

Het kinderopvangtoeslagaffaire-schandaal is een waarschuwend verhaal van de ravage die black box-algoritmen kunnen aanrichten, vooral wanneer ze worden bewapend om de meest kwetsbaren van de samenleving te raken. Het is een probleem dat niet uniek is voor Nederland: de Australische regering werd geconfronteerd met haar eigen “robodebt” -schandaal toen haar geautomatiseerde systeem voor het signaleren van uitkeringsfraude bijna $ 1 miljard stal van honderdduizenden onschuldige mensen . Ook dat geval kwam neer op een slecht ontworpen algoritme zonder menselijk toezicht, een uitbreiding van wrede bezuinigingspolitiek met onuitsprekelijke bijkomende schade. 

Hier is hoe het schandaal zich ontvouwde. 

Ouders moeten over het algemeen betalen voor kinderopvang in Nederland. Op basis van het inkomen van de ouders vergoedt de Nederlandse staat echter aan het eind van elke maand een deel van de kosten.

De angst voor mensen die uitkeringsstelsels gamen, is verre van nieuw en niet specifiek voor Nederland, maar de opkomst van xenofoob extreemrechts populisme heeft het midden in het nationale politieke discours geplaatst. Anti-immigrantenpolitiek is in toenemende mate genormaliseerd en immigranten worden vaak afgeschilderd als een bedreiging voor de Nederlandse welvaartsstaat. 

Hierna is een harde houding ten aanzien van uitkeringsfraude in het afgelopen decennium grotendeels politiek uniform geworden (zelfs onder veel linkse partijen) .

“Wie betaalt de rekening?” vroeg Geert Wilders, leider van de anti-immigranten Partij voor de Vrijheid (de op een na grootste partij van het land), tijdens een toespraak in 2008. “Het zijn de mensen van Nederland, de mensen die hard werken, die goed geld sparen en goed betalen hun belastingen. De gewone Nederlander krijgt geen geld cadeau. Henk en Ingrid betalen voor Mohammed en Fatima. ” 

Wat volgde was in wezen een ‘take-no-prisoners’-oorlog tegen uitkeringen en bijstandsfraude. Net als veel andere landen heeft Nederland lange tijd geautomatiseerde aspecten van zijn socialezekerheidsstelsel gecombineerd met menselijk toezicht en beoordeling. Vanaf 2013 (hoewel deze technieken eerder hadden kunnen worden gebruikt), gebruikten autoriteiten algoritmen om risicoprofielen op te stellen van bewoners die zogenaamd vaker fraude zouden plegen en vervolgens geautomatiseerde systemen met weinig overzicht te gebruiken om aanvragers van uitkeringen te doorzoeken en waarschijnlijke fraudeurs te markeren die dat wel waren. vervolgens gedwongen om geld te betalen dat ze in werkelijkheid niet verschuldigd waren.

Vóór het toegenomen gebruik van geautomatiseerde systemen, zou de beslissing om een ​​gezin van uitkeringen af ​​te sluiten, uitgebreid moeten worden herzien, zei Marlies van Eck, een universitair docent aan de Radboud Universiteit die onderzoek doet naar geautomatiseerde besluitvorming bij overheidsinstanties en die eerder werkte voor de nationale uitkeringsdienst. Nu worden dergelijke keuzes steeds meer aan algoritmen overgelaten, of hebben algoritmen zelf als hun eigen vorm van beoordeling gediend.

“Plotseling, met technologie binnen handbereik, werden beslissingen over voordelen op een werkelijk ongekende manier genomen”, zei ze. “Als je in het verleden voor de overheid werkte met papieren dossiers, kon je niet ineens van het ene op het andere moment beslissen om te stoppen met het uitbetalen van sociale uitkeringen.” 

Na jaren van ontkenning bleek uit een onderzoek van de Autoriteit Persoonsgegevens dat deze algoritmen inherent discriminerend waren omdat ze rekening hielden met variabelen als of iemand een tweede nationaliteit had. 

Hoe verwoestend het schandaal ook is, het betreedt bekend terrein. Nederland gaat door met het testen van discriminerende predictive policing-technologie die bijvoorbeeld etnisch profileren bestendigt . 

Marc Schuilenburg is hoogleraar sociologie en criminologie aan de Vrije Universiteit in Amsterdam en auteur van het boek Hysteria: Crime, Media, and Politics . Hij heeft een aanzienlijk deel van zijn carrière besteed aan het bestuderen van het gebruik van voorspellende politie-algoritmen, en stelt dat het schandaal voor kinderbijslag moet worden gezien in de context van deze culturele en politieke verschuiving naar punitief populisme. 

“De toeslagenaffaire [uitkeringsschandaal] is geen op zichzelf staand probleem”, vertelde Schuilenburg aan Motherboard over Zoom. “Het past in een lange traditie in Nederland van veiligheidsbeleid dat erop gericht is duidelijk te maken dat de dagen van tolerantie voorbij zijn, en dat we opgesloten zitten in deze strijd op leven en dood met misdaden als uitkeringsfraude. Dit past in dit hele idee van populistische hysterie dat ik in mijn boek bespreek. ” 

“Je ziet dat er over dit beleid gesproken wordt in termen van oorlog, in een hysterisch militair vocabulaire – ‘er is een oorlog tegen fraude'”, vervolgde hij. “Door deze taal en dit beleid heerst dit soort strafpopulisme.” 

Voor degenen die door het geautomatiseerde systeem als fraudeur werden geclassificeerd, betekenden weinig goed uitgevoerde vervolgonderzoeken dat er weinig verhaal was. In sommige gevallen, zelfs zoiets eenvoudigs als het vergeten van een handtekening, landde gezinnen met het in feite onverwijderbare label dat ze fraude hebben gepleegd. Toen dat label er eenmaal was, moesten ze alle ontvangen kinderopvangtoeslag met terugwerkende kracht aan de overheid terugbetalen , die voor velen duizenden euro’s en in sommige gevallen zelfs tienduizenden euro’s bedroegen.

Uit een onderzoek van het Nederlandse dagblad Trouw bleek ook dat ouders die van fraude werden beschuldigd het label ‘opzet / grove nalatigheid’ kregen, wat betekent dat ze niet eens in aanmerking kwamen voor een betalingsregeling om hun toch al valse schulden geleidelijk af te betalen. 

Slachtoffers werden ook uitgesloten van andere uitkeringen, zoals de huurtoeslag en zorgtoeslag. Velen werden gedwongen om faillissement aan te vragen. De resultaten waren rampzalig. 

“Ik geloof dat je in de Verenigde Staten zegt dat je één salaris verwijderd bent van dakloos zijn?”, Vertelde Van Eck aan Motherboard over de telefoon. “Ja, dat is eigenlijk wat we in deze affaire hebben gezien.” 

“Als u twee of drie maanden uitbetaling mist, vooral voor de kinderopvangtoeslag, moet u misschien uw baan opzeggen,” legde ze uit. Als iemand daardoor zijn baan zou opzeggen om voor zijn kinderen te zorgen, zouden ze in financiële moeilijkheden komen, zei ze. “Er was een enorm sneeuwbaleffect omdat alles in Nederland met elkaar verbonden is. Het was verschrikkelijk.” 

In een van de meer flagrante voorbeelden van het gebrek aan menselijkheid in de benadering van de autoriteiten, onthulde een rapport van Trouw dat de belastingdienst het wiskundige Pareto-principe ongegrond had toegepast op hun straffen, ervan uitgaande dat zonder bewijs dat 80 procent van de ouders een onderzoek deed naar fraude schuldig waren en 20 procent was onschuldig. 

De slachtoffers van de overijverige belastingautoriteiten waren onevenredig gekleurde mensen, die benadrukten hoe algoritmen discriminerende structuren en institutioneel racisme kunnen bestendigen .

Volgens Nadia Benaissa – een beleidsadviseur bij de digitale rechtengroep Bits of Freedom – kunnen de fraudedetectiesystemen die variabelen zoals nationaliteit gebruiken, problematische feedbackloops creëren, vergelijkbaar met hoe voorspellende politie-algoritmen die zijn gebaseerd op onjuiste aannames , een self-fulfilling prophecy kunnen creëren die leidt aan het overmatig toezicht op minderheidsgroepen. 

Cruciaal was, zei ze, dat we de schuld moeten geven aan de menselijke individuen achter het creëren en gebruiken van het algoritme in plaats van de technologie te beschouwen als de belangrijkste drijfveer. 

“Systemen en algoritmen zijn door mensen gemaakt en doen precies wat hen is opgedragen,” zei ze. ‘Ze kunnen fungeren als een gemakkelijke en soort lafhartige manier om jezelf de schuld te geven. Wat belangrijk is om te begrijpen, is dat algoritmen vaak historische gegevens kunnen gebruiken zonder enige juiste interpretatie van de context rond die gegevens. Met dat patroon kun je alleen maar verwachten dat sociale problemen, zoals institutioneel racisme, zullen toenemen. Het resultaat is een soort feedbackloop die al bestaande sociale problemen vergroot. ” 

Hoewel er recentelijk enige inspanningen zijn geleverd om de algoritmische transparantie te vergroten (zoals een algoritme-register van de gemeente Amsterdam), blijven veel van de geautomatiseerde systemen die in de samenleving worden gebruikt ondoorzichtig, zei van Eck, zelfs voor onderzoekers.  

“Transparantie is zeker een groot probleem. Als onderzoeker is het moeilijk omdat deze algoritmen onzichtbaar blijven, ”zei van Eck. “Als ik iets wil weten, heb ik moeite om iemand te vinden die er met mij over kan praten. En als ze gewoon een softwaresysteem kopen, kan het zijn dat niemand echt weet hoe het werkt. Transparantie is niet alleen belangrijk voor de burger, maar ook op bestuurlijk vlak. ” 

Naast transparantie zijn waarborgen en verantwoording vooral belangrijk wanneer algoritmen een enorme macht krijgen over het levensonderhoud van mensen, maar daarvan bestaat er in Nederland nog maar weinig. En ondertussen nemen slimme algoritmen en geautomatiseerde systemen steeds een steeds groter deel van de administratieve procedures over. 

Voorlopig wachten de families die ten onrechte worden beschuldigd van fraude , op een schadevergoeding van elk € 30.000, maar dat zal niet genoeg zijn om de echtscheidingen, gebroken gezinnen en de psychologische tol die uit de affaire voortvloeide, goed te maken. 

Ondertussen is, ondanks de ernst van het schandaal, het aftreden van Mark Rutte en zijn kabinet grotendeels symbolisch. Hoewel hij aftrad, leidt hij de regering in de tussentijd nog steeds en zal hij op de stemming zijn voor de nationale verkiezingen die volgende maand zijn gepland. De conservatieve VVD-partij van Rutte zal naar verwachting handig winnen, wat betekent dat zowel hij als veel van zijn ministers waarschijnlijk op hun posten zullen terugkeren. 

Aan het einde van elk overheidsschandaal worden de woorden “nooit meer” veel rondgegooid, maar de combinatie van enkele sterke ethische waarborgen voor algoritmen en een steeds meer geautomatiseerde overheid laat die woorden weinig betekenis achter. 

Abonneer u nu op onze gratis elektronische nieuwsbrief SDB-nieuws klik hier om te registreren