Algoritmen voor het aannemen van personeel zouden kandidaten kunnen filteren nog voordat de sollicitatiegesprekken plaatsvinden. fizkes / Shutterstock
Er zijn risico’s en nadelen verbonden aan het vertrouwen op algoritmen om beslissingen te nemen. Mensen voelen nu al de gevolgen. Of het nu gaat om het versterken van raciale vooroordelen of het verspreiden van verkeerde informatie, veel technologieën die worden aangeduid als kunstmatige intelligentie (AI) helpen bij het versterken van eeuwenoude storingen van de menselijke conditie.
In het licht van dergelijke problemen zijn er oproepen gedaan om een nieuw mensenrecht te creëren tegen het onderworpen worden aan geautomatiseerde besluitvorming (ADM), wat het Britse Information Commissioner’s Office (ICO) omschrijft als “het proces van het maken van een beslissing door geautomatiseerde middelen zonder enige menselijke betrokkenheid”.
Dergelijke systemen zijn afhankelijk van blootstelling aan gegevens, feitelijk, afgeleid of gecreëerd via profilering. Maar als effectieve regulering van ADM het doel is, is het creëren van nieuwe wetten waarschijnlijk niet de juiste manier.
Ons onderzoek suggereert dat we een andere aanpak moeten overwegen. Wettelijke kaders voor gegevensbescherming, non-discriminatie en mensenrechten bieden mensen al bescherming tegen de negatieve gevolgen van ADM. Regels uit deze wettelijke kaders kunnen ook als leidraad dienen voor regulering in het algemeen. We zouden ons er daarom op kunnen richten om ervoor te zorgen dat de wetten die we al hebben goed worden uitgevoerd.
Huidige schade en toekomstige risico’s
Geautomatiseerde besluitvorming wordt op verschillende manieren gebruikt – en er zijn meer toepassingen op komst. Automatisering wordt onder andere toegepast bij het verwerken van aanvragen voor asiel en bijstand en bij het inzetten van dodelijke militaire technologie. Maar zelfs als ADM voordelen biedt, kan het ook negatieve gevolgen hebben.
De criminalisering van kinderen is een mogelijk risico van het gebruik van bepaalde ADM-systemen, waarbij “voorspellende risicomodellen” die gebruikt worden in kinderbeschermingsdiensten ertoe kunnen leiden dat kwetsbare kinderen verder gediscrimineerd worden. ADM kan er ook toe leiden dat het veiligstellen van personeel moeilijker wordt — een wervingsalgoritme ontwikkeld door Amazon “scoorde vrouwelijke sollicitanten slechter dan hun gelijkwaardig gekwalificeerde mannelijke tegenhangers”.
In verschillende landen, waaronder het Verenigd Koninkrijk, vertrouwen rechtbanken ook op ADM. Het wordt bijvoorbeeld gebruikt om strafmaataanbevelingen te doen, de waarschijnlijkheid van recidive te berekenen en het vluchtrisico van verdachten te beoordelen, wat bepaalt of ze op borgtocht worden vrijgelaten in afwachting van hun proces.
Deze toepassingen kunnen om verschillende redenen leiden tot oneerlijke processen en onrechtvaardige uitkomsten. Dit kan gebeuren omdat een rechter onbewust verkeerde resultaten van ADM accepteert, of omdat niemand in staat is te begrijpen hoe of waarom een bepaald systeem tot zijn conclusie is gekomen.
Historisch gezien zijn menselijke vooroordelen ook ingebed in het ontwerp van dergelijke software. Dit komt omdat de algoritmes worden getraind op gegevens uit de echte wereld, vaak van het internet. Door het systeem bloot te stellen aan deze informatie kan het vanuit één perspectief beter presteren bij een taak, maar de gegevens weerspiegelen ook de vooroordelen van mensen. Dit betekent dat leden van gemarginaliseerde groepen uiteindelijk gestraft kunnen worden, zoals we eerder zagen toen vrouwen werden benadeeld door een wervingsalgoritme.
Bescherming en regulering
De drang om nieuwe wettelijke regels aan te nemen is misschien begrijpelijk gezien de inzet en de potentiële schade die ADM kan aanrichten. Echter, als het gaat om het creëren van een nieuw mensenrecht, kost het onderhandelen over nieuwe wetten tijd, geld en middelen. En als een nieuwe wet eenmaal van kracht is, kan het tientallen jaren duren voordat deze goed begrepen wordt door de praktijk.
Gezien het feit dat er al veel relevante wetten bestaan, is het onduidelijk of een nieuw mensenrecht een significante invloed zou hebben op hoe systemen voor geautomatiseerde besluitvorming worden ontworpen en ingezet.
Maar zonder concrete implementatie en handhaving kan de inhoud van deze bestaande wetten hol worden. Effectief beheer van ADM door deze wetten vereist effectbeoordelingen van geautomatiseerde beslissingen, menselijk toezicht op ADM-systemen en klachtenprocedures. Deze zouden allemaal verplicht moeten worden gesteld. Een grondige effectbeoordeling zal bijvoorbeeld onbedoelde schade aan individuen en groepen kunnen identificeren en helpen bij het opstellen van passende verzachtende maatregelen.
Maar deze maatregelen om informatie te verzamelen moeten gepaard gaan met voldoende toezicht door een competent, van middelen voorzien en – mogelijk – publiek orgaan. Dit zou de democratische verantwoordingsplicht helpen handhaven. Dergelijke organen zouden er ook voor moeten zorgen dat mensen die negatief worden beïnvloed door ADM, klachten kunnen indienen die adequaat worden behandeld. Deze stappen zouden de huidige wetten op gegevensbescherming, non-discriminatie en mensenrechten zinvoller en effectiever maken bij het beschermen van individuen en groepen tegen de schade van geautomatiseerde besluiten.
De wet op veel gebieden wordt vaak bekritiseerd – soms terecht – omdat hij moeite heeft zich aan te passen aan veranderingen. Maar een verdienste van de wet in het algemeen is haar vermogen om mensen die onrecht hebben ondervonden verhaal te bieden. Het biedt principiële tanden om een hap te nemen uit gewetenloos gedrag.
Dit vermogen is om nog een andere reden belangrijk. Bedrijfsspinsels met betrekking tot digitale technologieën komen overeen met hoe ze vaak in het openbaar worden afgeschilderd. Ook het commentaar neigt vaak naar “overdrijving, paniekzaaierij of overdrijving”. Deze hype is een aanvulling op praktijken zoals ethisch wassen, die een manier bieden om betrokkenheid bij regulering te veinzen, terwijl de wetten zelf die deze regulering kunnen verschaffen, worden genegeerd.
Geruchten over “AI-ethiek” smeren de wielen van deze strategieën, waardoor genuanceerde en significante filosofische inzichten soms verworden tot invuloefeningen. Ethiek is een essentieel onderdeel van het begeleiden van het ontwerp, de ontwikkeling en de inzet van geautomatiseerde besluitvorming. De taal van “ethiek” kan echter ook worden gebruikt door spindoctors om ons af te leiden.
Als er iets is dat we moeten onthouden, dan is het wel dat ADM niet alleen een toekomstig probleem is, maar een huidig probleem. De wetten die nu bestaan kunnen gebruikt worden om dringende problemen die voortkomen uit deze technologie aan te pakken.
Of dit gebeurt, hangt af van de mate waarin publieke en private instanties de procedurele mechanismen verbeteren die nodig zijn om wettelijke regels af te dwingen en te controleren. Deze regels, waarvan er veel al een tijdje bestaan, moeten alleen wat meer leven ingeblazen krijgen om effectief te kunnen functioneren.
Richard Mackenzie-Gray Scott ontvangt financiering van de British Academy en is gasthoogleraar aan het Centrum voor Technologie en Samenleving, Getulio Vargas Foundation.
Elena Abrusci werkt niet voor, heeft geen adviesfuncties, bezit geen aandelen in en ontvangt geen financiering van bedrijven of organisaties die baat zouden hebben bij dit artikel en heeft geen relevante banden bekendgemaakt buiten haar academische aanstelling.