C-Archief 2021-2025

Direct naar artikelinhoud Website logo

Voorpagina Editie Best gelezen Rubrieken

Reconstructie Amsterdams algoritme Amsterdam wilde met AI de bijstand eerlijker en efficiënter maken. Het liep anders Bron Brechtje Rood Al vaker ging de overheid de mist in met algoritmes bedoeld om uitkeringsfraude te bestrijden. De gemeente Amsterdam wilde het allemaal anders doen, maar kwam erachter: een ethisch algoritme is een illusie.

Dit artikel is geschreven door Jeroen van Raalte redacteur lokale democratie

Gepubliceerd op 6 juni 2025, 22:00

Bewaren Delen Rutger Groot Wassink neemt plaats op zijn zetel in de Amsterdamse raadzaal. Hij zet zijn leesbril op, werpt een blik op de tablet voor zijn neus en richt zich dan tot de zaal met een korte mededeling. “Ik heb besloten de pilot stop te zetten.”

Wilt u elke dag de Middag nieuwsbrief van Trouw ontvangen via e-mail? E-mail Bijna terloops bezegelt de wethouder het lot van een groot experiment van Amsterdam met kunstmatige intelligentie. Jarenlang heeft de gemeente eraan gesleuteld. Maar nu, op deze woensdagmiddag in november 2023, draagt Groot Wassink het ten overstaan van een handvol gemeenteraadsleden ten grave.

Het gesneuvelde project heet Slimme Check, een zelflerend algoritme dat moest helpen bij de beoordeling van bijstandsaanvragen. Het computersysteem is ontwikkeld door de gemeente Amsterdam zelf. Het experiment is gedurfd, ambitieus, maar ook gevoelig. Kunstmatige intelligentie loslaten op de sociale zekerheid is een recept voor controverse.

Amsterdam trok alles uit de kast om een algoritme te bouwen dat de beoordeling van bijstandsaanvragen niet alleen efficiënter, maar ook rechtvaardiger maakt. De gemeente speelt open kaart en nodigt het journalistieke onderzoekscollectief Lighthouse Reports, dat eerder onthullingen deed over kwestieuze bijstandsalgoritmes, uit om over haar schouder mee te kijken.

Toch trekt wethouder Groot Wassink deze novemberdag de stekker uit Slimme Check. Waarom is het project mislukt? En wat leert dit over de valkuilen van kunstmatige intelligentie in de sociale zekerheid? In samenwerking met Lighthouse Reports en MIT Technology Review nam Trouw een kijkje onder de motorkap van het Amsterdamse algoritme.

Bron Brechtje Rood I. Een nobel algoritme Het idee voor een algoritme borrelt zo’n zeven jaar geleden op uit de ambtenarij. Bij de afdeling Werk, participatie en inkomen (WPI) bestaat de wens om de handhaving van de bijstand deels te automatiseren, vertelt strategisch adviseur Harry Bodaar in een kamer op het stadhuis.

De gemeente heeft namelijk een zware dobber aan de bijstand. Jaarlijks ontvangt de gemeente zo’n 7500 aanvragen voor een uitkering. Ambtenaren beoordelen deze handmatig. Zijn er op het eerste oog aanwijzingen voor onrechtmatigheid of zelfs fraude, dan belandt een aanvraag op het bureau van een handhaver. Die kan de indiener ondervragen en huisbezoeken afleggen. Blijkt de aanvraag in orde, dan wordt deze verwerkt. Zo niet, dan volgt een afwijzing.

Erg efficiënt gaat dit allemaal niet, zien ze bij WPI. Risico-inschatting is een complex, tijdrovend karwei. Het aantal aanvragen dat voor nadere controle naar de handhaving wordt doorgestuurd, daalt al jaren: van 15 procent in 2015 naar nog geen 4 procent in 2021. “Dat percentage is te laag, zeg ik uit ervaring”, aldus Bodaar, die al flink wat jaartjes meedraait in de handhaving.

Bovendien leveren die onderzoeken te weinig hits op. Het merendeel (60 procent) van de aanvragen die voor nader onderzoek worden geselecteerd, blijkt uiteindelijk gewoon rechtmatig. “Al die mensen hebben we dus ten onrechte lastiggevallen.”

AI maakt eerste schifting Kan kunstmatige intelligentie (AI) geen uitkomst bieden? Een systeem dat snel én beter een eerste schifting maakt in binnenkomende bijstandsaanvragen?

Amsterdam besluit een eigen computermodel te ontwikkelen. Het gaat om een zogeheten machinelearning-algoritme, dat met een dataset wordt getraind om onrechtmatige aanvragen te herkennen. De gedachte is dat AI patronen kan ontwaren die mensen ontgaan.

Aan de hand van vijftien features, kenmerken zoals inkomen en woonsituatie, bepaalt het model of een bijstandsaanvraag ‘onderzoekswaardig’ is. Zo ja, dan neemt een handhaver het dossier onder de loep.

Bron Bart Friso Amsterdam is niet de eerste gemeente die voor de verleiding van AI valt. De technologie oogt veelbelovend, maar ongelukken liggen op de loer. In Nederland kwam het al tot meerdere schandalen.

Zo verbood de rechter in 2020 het gebruik van SyRI, een overheidssysteem bedoeld om uitkeringsfraude op te sporen. Het jaar daarop staakte de gemeente Nissewaard de samenwerking met een databedrijf dat bijstandsaanvragen analyseerde op frauderisico’s – het systeem bleek onbetrouwbaar. En Rotterdam stopte in 2023 met een bijstandsalgoritme nadat Lighthouse Reports onthulde dat het alleenstaande moeders discrimineerde. Zelflerende algoritmes speelden ook een rol in de toeslagenaffaire bij de Belastingdienst.

Geen klopjacht, geen geheimen Op het Amsterdamse stadhuis zijn ze zich bewust van deze miskleunen. De progressieve hoofdstad wil het allemaal anders doen. Geen ontspoorde klopjacht op vermeende fraudeurs. Geen geheimzinnigheid. Geen vooringenomen algoritmes die kwetsbare groepen benadelen. Ditmaal moet kunstmatige intelligentie de burger dienen.

Het doel van Slimme Check is dan ook niet zoveel mogelijk fraudeurs pakken. De gemeente heeft een nobelere insteek: schulden voorkomen. “Als iemand te veel bijstand heeft ontvangen, moeten wij van de wet dat bedrag tot op de laatste cent terugvorderen”, schetst Bodaar.

Dat komt veel voor. De participatiewet is zo ingewikkeld geworden, dat een foutje snel is gemaakt. Ongeveer tienduizend Amsterdammers moeten momenteel (een deel van) hun ontvangen uitkering terugbetalen aan de gemeente. Een algoritme kan helpen het aantal uitkeringen dat onterecht wordt verstrekt te verminderen, redeneert de gemeente.

“We willen graag minder mensen met een bijstandsschuld”, zegt Bodaar. “Dus kiezen we voor preventie.”

II. Het gevaar van proxy’s De Amsterdamse programmeurs gaan volgens het boekje te werk. Naar gevoelige kenmerken als etniciteit, nationaliteit en geslacht kijkt het algoritme niet. Door het model te beperken tot vijftien features – ter vergelijking: het verboden overheidssysteem SyRI telde bijna negentig risico-indicatoren – willen ze de kans op onbedoelde discriminatie door het algoritme uitsluiten.

Want via omwegen, zogeheten proxy’s, kunnen vooroordelen alsnog een computermodel insluipen. Een bekend voorbeeld hiervan zijn postcodes. Op het oog is dat een objectieve maatstaf, maar wanneer in een wijk veel mensen met een migratieachtergrond wonen, kan dat ertoe leiden dat het algoritme alsnog onevenredig vaak een etnische groep als risico bestempelt.

Amsterdam wil daarnaast voorkomen dat het systeem een zwarte doos wordt. Slimme Check moet een explainable (uitlegbaar) algoritme zijn: een leek moet kunnen begrijpen hoe het model tot zijn oordeel komt. “Een beetje een marketingterm”, stelt Jurriaan Parie. Hij is directeur van Algorithm Audit, een Haagse stichting die maatschappelijke toepassingen van algoritmes onderzoekt. “Het algoritme is ietsje begrijpelijker. Maar het blijft te complex om aan gewone burgers uit te leggen.”

Eigenlijk, zegt zijn collega Ylja Remmits, moet je in zo’n model alleen variabelen stoppen die een logisch verband hebben met wat je probeert te voorspellen. “Neem de kleur van iemands auto. Die zegt natuurlijk niets over frauderisico’s, maar zou in een computermodel wel een statistische correlatie kunnen vertonen met fraude.”

Om zulke missers voor te zijn, wint het Amsterdamse team in 2022 advies in bij een keur aan adviesgroepen. Zo laten ze een mensenrechtenassessment, een privacytoets en een AI-assessment uitvoeren. Ook de Commissie Persoonsgegevens en adviesbureau Deloitte buigen zich over het project. Na wat mitsen en maren geven ze allemaal hun zegen.

Behalve één.

III. Wantrouwen en kritiek In een Amsterdams café parkeert Anke van der Vliet (76) haar rollator, vist haar leesbril uit een etui en zet zich aan een tafeltje. Al decennialang komt ze op voor de belangen van mensen in de bijstand. Dit zijn er zo’n veertigduizend in Amsterdam. Tot voor kort was ze lid van de Participatieraad, die namens Amsterdamse uitkeringsgerechtigden de gemeente gevraagd en ongevraagd advies geeft.

Ook over Slimme Check. “Wij wantrouwden het vanaf het begin”, vertelt Van der Vliet. “Iedereen was ertegen.” Dat de gemeente een heel systeem optuigt om een handvol fraudeurs te pakken, is disproportioneel, zo schrijft de Participatieraad in het voorjaar van 2022 in een negatief advies. Daarin uit de raad ook zorgen over privacy: ‘De raad is van mening dat een dergelijk experiment de fundamentele grondrechten van burgers aantast en dient te worden gestaakt.’

Intern volgen meer kritische geluiden. Begin 2023, als het computermodel zo goed als gereed is voor een test in de praktijk, publiceert de gemeente het plan voor Slimme Check in het algoritmeregister. Als eerste stad in Nederland hanteert Amsterdam een openbaar overzicht van alle algoritmes die de burger kunnen raken.

Bron Brechtje Rood ‘Een slecht idee’ Als Hans de Zwart over het project leest, valt hij bijna van zijn stoel. “Ik dacht meteen: dit is een slecht idee.” De Zwart geldt als een luis in de pels. De voormalig directeur van Bits of Freedom is als techniekfilosoof verbonden aan de Hogeschool van Amsterdam, bij een afdeling die op verzoek van de gemeente kritisch meedenkt over technologische ontwikkelingen.

Quote van techniekfilosoof Hans de Zwart . In de computerwereld klinkt steeds meer de kritiek dat algoritmes zich niet lenen voor fraudebestrijding techniekfilosoof Hans de Zwart Al gaat de gemeente nog zo zorgvuldig te werk, volgens hem blijft het risico op geautomatiseerde discriminatie levensgroot bij zo’n computermodel. “Je moet heel terughoudend zijn met het gebruik van algoritmes voor dit soort doeleinden

Religious Studies Review • VOLUME 49 • NUMBER 4 • DECEMBER 2023 p646-647 (book review by Spencer Dew, The Ohio State University)

THE NO-STATE SOLUTION: A JEWISH MANIFESTO. By Daniel Boyarin. New Haven: Yale University Press, 2023. pp. 180. $30.00, hardcover.

This book is a manifesto in response to Boyarin’s version of “the Jewish question,” namely what does it mean to be a Jew. He insists that neither “religion” nor member of a “nation-state” can serve as adequate answers to this question. Rather, he offers here “an argument for an ethical form of vibrant Jewish collective continuity.” This vision is explicitly diasporic; Jews are a people, necessarily, of no state. As Boyarin puts it, “We have a diaspora, a ‘family’ of ancestors, grounded in a narrative of genealogy and not sovereignty; time and not space.” There is here, of course, a critique of Israel—“well on the way to being a racist, fascist state,” as Boyarin puts it— but his primary interest is a critique and dismissal of state logic and forms (including that specter of sovereignty) in general. He writes, “It is possible to imagine nations without states, not as an anomaly or deficiency, but as a significantly better way to organize human/Jewish cultural vitality without sacrificing the claims for universal justice.” It is for this imagination of the possibilities of the unstately that this book will most interest scholars and students of religion and law. Boyarin’s unstately vision of Jewishness is indebted to “the black radical traditions,” from Fanon and Césaire to Fred Moten and Charisse Burden-Stelly, traditions that focus both on a celebration of the particularity of a people and on a devotion to liberation for all peoples. Rejecting “Federations; Councils; Leadership committees; sociologists who study Jewish continuity by counting babies and checking out their mothers’ ‘identity’” in favor of “Jews, singing, dancing, speaking, and writing in Hebrew, Yiddish, Judezmo, learning the Talmud in all sorts of ways, fighting together for justice for Palestinians and Black Lives Matter,” Boyarin’s vision rejects both Appiah’s model of “cosmopolitanism” and the logic and form of the state. Tantalizingly, Boyarin offers another logic and form as an alternative to or otherwise than the stately: the “Talmudic,” a vibrancy “rooted ... in conversation,” alternately described as a weave and a mosaic, the past always present, still speaking. The “Talmudic,” as Boyarin explains it, is both an aesthetic (with distinctive “cadences and melodies”) and practice (shorthanded as “study,” but far more dynamic—a matter always of encounter and conversation and exchange, mutual transformation) and a style of the everyday (again, a counter ubiquity, albeit a utopian one, to stateliness). Reading this book during the bombardment and invasion of Gaza—a horror beyond comprehension—and in the wake of the October 7th attacks—likewise, violence and terror beyond imagining—is a stark, I would say crushing, experience. But crushing most, for me, because I feel my own cynicism and despair shadowing over the very “embers” Boyarin says he wants his book to act as “a bellows” for: a revitalized justice-centered model of Jewish collectivity, engaged within the world, devoted to Talmud study, and relishing “Jewish pleasure, Jewish joy. The intimacies of shared history, languages, practices, songs, holy days, literature, political comradeship (Black Lives Matter), things we eat and things we don’t eat, and even, perhaps, the joys of transgression, all the things that all up to my most outrageous coinage, Jewissance ...” Here, it is worth noting explicitly another function of this slim text: it is a love letter, an aching expression of love for Jewissance and an audacious imagining of the best, most moral, possibilities of such Jewishness, a vision of Jews as “a diasporic nation with a culture and the capacity to care deeply and struggle for the oppressed of other nations as well (especially for the nation we have oppressed, the Palestinians).”