Wiskundige Cathy O’Neil: "Algoritmen zijn gevaarlijk"

In een bekende scène uit de Britse comedyserie Little Britain komt een moeder met haar 5-jarige dochter bij de receptie van een ziekenhuis. De amandelen van het meisje moeten worden verwijderd. De receptioniste kijkt op haar scherm en zegt: "Computer says no." Het meisje staat ingeboekt voor een dubbele heupoperatie. "Wil je die?" Meisje noch moeder wil dat. Maar een amandeloperatie zit er niet in: "Computer says no."

Lachwekkend. Maar voor veel Amerikaanse burgers zijn nee-zeggende computers dagelijkse praktijk. Dit ondervond Sarah Wysocki, een leraar aan de MacFarland Middle School in Washington. "Een van de besten die ik ooit heb ontmoet", stond in een van haar beoordelingen. Twee maanden later werd Wysocki ontslagen. Volgens een rekenmodel om docenten te beoordelen behoorde ze tot de slechtste 2 procent leraren van het land. In dat model keek een algoritme naar rapportcijfers voor rekenen en lezen. Harde cijfers, die een eerlijke beoordeling impliceren. Eerlijker dan die van de schoolleiding. En zo werd een leraar ontslagen die kort daarvoor lof kreeg toegezwaaid.

Toen Cathy O’Neil, wiskundige en voormalig getallenkraker aan Wall Street, over de zaak las, vroeg ze inzage in het algoritme bij de maker, die weigerde. O’Neil ontdekte meer voorbeelden van mensen die door algoritmen in de knel waren geraakt. Ze schreef er een boek over: Weapons of Math Destruction. Vorige week gaf ze in Amsterdam een lezing tijdens de uitreiking van de Nederlandse Data Science Prijzen.

De VS staan bekend als land of the free. Na het lezen van uw boek lijkt die term niet meer zo toepasselijk.

Cathy O'Neil: "De VS zien zichzelf als een samenleving waarin het individu kansen krijgt zich te ontplooien. Maar in de praktijk worden de rechten van het individu niet beschermd; we beschermen de rechten van grote bedrijven. Het zijn deze concerns die algoritmen gebruiken voor winstoptimalisatie en daarmee bepalen of individuen kansen krijgen of niet."

Vooral zwakkeren hebben hieronder te lijden, betoogt O’Neil. Zoals laagbetaalde medewerkers met eenvoudige banen, die vaak pas een dag op voorhand te horen krijgen hoe laat ze moeten aantreden en vaak zowel de late dienst als de vroege moeten draaien. Door dit gebrek aan vastigheid raken gezinslevens in de knel en krijgen mensen niet de kans naast hun baan een studie te volgen, waardoor ze hun situatie niet kunnen verbeteren, stelt ze.

Maar in de zaak van de leraar was het een mens die besloot haar te ontslaan. Niet het algoritme.

"Toen Wysocki bezwaar maakte, werd haar gezegd dat een algoritme het besluit had genomen, en dat het een eerlijke procedure was. Maar deze ‘beslissing’ kwam uit een black box die geen verantwoordelijkheid hoeft af te leggen. Mensen verschuilen zich vervolgens achter deze algoritmen, omdat ze niet begrijpen hoe ze werken en omdat velen liever geen verantwoordelijkheid dragen. Ze kunnen zeggen: ik kan er niets aan doen."

Is dit een technologisch, politiek of ethisch probleem?

"Allemaal. We moeten standaards ontwikkelen waarin is vastgelegd hoe een goed algoritme hoort te werken. Dat weten we nu niet. We zijn verpest door voorbeelden van beroemde algoritmen, zoals computers die winnen met schaken en het bordspel Go. Deze voorbeelden worden altijd gebruikt door voorstanders van big data. Maar ze staan niet model voor de echte wereld."

Hoe weet je bijvoorbeeld of een algoritme het goed doet bij sollicitatieprocedures? Van sollicitanten die worden afgewezen weet je nooit of zij misschien beter geschikt waren, betoogt O’Neil. Het gebeurt bovendien zelden dat het alleen maar gaat om winnen of verliezen, zoals bij Go. Er spelen altijd meer belangen, stelt ze. "Er zijn de mensen die het algoritme hebben gemaakt, er zijn mensen voor wie het algoritme bedoeld is en er zijn mensen voor wie het algoritme faalt. Dan zijn er nog zorgen. Is het algoritme accuraat? Zijn er vals positieven? Vals negatieven? Is het transparant, kunnen we het algoritme begrijpen? Is het eerlijk? Is het racistisch?"

"We moeten naar elk onderdeel kijken. Zolang we dat niet doen, kunnen we niet bepalen of een algoritme goed functioneert."

Uw pleidooi zal bij de huidige regering weinig weerklank vinden.

"Ik word daar verdrietig van. Kijk naar ziektekostenverzekeraars. Die gebruiken big data. Ze worden steeds beter in het voorspellen of iemand ziek wordt of niet, en wat dat gaat kosten. Verzekeringen waren altijd op gedeeld risico. Iedereen zat in dezelfde vijver en niemand wist wie er ziek zou worden. Maar door big data weten we veel beter wie er ziek wordt. Dus hebben we nu groepen met een laag risico, groepen met een gemiddeld risico en groepen met een hoog risico. Mensen in de laatste categorie zullen meer moeten betalen. Dat is begrijpelijk vanuit het standpunt van de verzekeraars. Maar het betekent dat deze mensen hun verzekering niet meer kunnen betalen. Uiteindelijk komt het erop neer dat alleen degenen die geen verzekering nodig hebben, zich er een kunnen veroorloven. Dit is een politiek probleem, maar ook een big-dataprobleem. Veertig jaar geleden hadden verzekeringsmaatschappijen niet de mogelijkheden hiernaar te kijken. Nu wel."

Wat moet er gebeuren?

"Er moet een toezichthouder voor algoritmen komen, zoals de FDA doet met nieuwe medicijnen. Deze toezichthouder moet goed begrijpen hoe een algoritme werkt en of het goed uitpakt voor burgers."

Automatisering krijgt steeds meer greep op ons leven. Gaat het de verkeerde kant op?

"Het wordt beter. Toen ik met dit boek begon in 2012, dacht ik dat ik de enige was die zich hier druk over maakte. Inmiddels is ook in deze contreien een zeer actieve gemeenschap die zich ermee bezighoudt. Misschien weten we nog niet de oplossing, maar er wordt over nagedacht. In feite kan ik stoppen, het zaadje is geplant."