Napoleon had van het verleden kunnen leren. schilderij van Adolph Northen/wikipedia
Het is een cliché dat als je de geschiedenis niet kent, je haar herhaalt. Zoals veel mensen ook hebben opgemerkt, is het enige wat we van de geschiedenis leren, dat we zelden iets van de geschiedenis leren. Mensen voeren steeds weer landoorlogen in Azië. Ze herhalen dezelfde dateringsfouten, telkens weer. Maar waarom gebeurt dit? En zal de technologie er een einde aan maken?
Een van de problemen is vergeetachtigheid en “bijziendheid”: we zien niet hoe gebeurtenissen uit het verleden relevant zijn voor de huidige, en zien het zich ontvouwende patroon over het hoofd. Napoleon had de overeenkomsten moeten zien tussen zijn mars naar Moskou en de mislukte poging van de Zweedse koning Karel XII om ongeveer een eeuw voor hem hetzelfde te doen.
We zijn ook slecht in het leren wanneer dingen fout gaan. In plaats van te bepalen waarom een beslissing verkeerd was en hoe we kunnen voorkomen dat het ooit weer gebeurt, proberen we vaak de pijnlijke wending te negeren. Dat betekent dat we bij een volgende soortgelijke situatie de gelijkenis niet zien – en de fout herhalen.
Beide onthullen problemen met informatie. In het eerste geval onthouden we geen persoonlijke of historische informatie. In het tweede verzuimen we informatie te coderen wanneer die beschikbaar is.
We maken echter ook fouten wanneer we niet efficiënt kunnen afleiden wat er gaat gebeuren. Misschien is de situatie te complex of te tijdrovend om over na te denken. Of we zijn bevooroordeeld om verkeerd te interpreteren wat er aan de hand is.
De vervelende kracht van technologie
Maar technologie kan ons toch helpen? We kunnen nu informatie buiten onze hersenen opslaan, en computers gebruiken om het op te halen. Dat moet leren en onthouden makkelijk maken, toch?
Dit artikel verschijnt in samenwerking met HowTheLightGetsIn, ’s werelds grootste filosofie- en muziekfestival, Hay-on-Wye 26-29 mei. Pragya Agarwal en Anders Sandberg zullen met redacteuren Miriam Frankel en Matt Warren spreken over hoe ons begrip van cognitieve vooroordelen ons kan helpen sommige van onze fouten te corrigeren. Tickets hier: 20% korting met code CONVERSATION23
Informatie opslaan is nuttig als het goed terug te vinden is. Maar onthouden is niet hetzelfde als het ophalen van een bestand van een bekende locatie of datum. Bij onthouden gaat het om het signaleren van overeenkomsten en het in herinnering brengen van dingen.
Een kunstmatige intelligentie (AI) moet ook in staat zijn spontaan overeenkomsten voor de geest te halen – vaak ongewenste overeenkomsten. Maar als ze goed is in het opmerken van mogelijke overeenkomsten (ze kan tenslotte het hele internet en al onze persoonlijke gegevens doorzoeken) zal ze ook vaak valse overeenkomsten opmerken.
Voor mislukte afspraakjes kan het opmerken dat ze allemaal met een etentje te maken hadden. Maar het was nooit het diner dat het probleem was. En het was puur toeval dat er tulpen op tafel stonden, geen reden om ze te vermijden.
We herhalen vaak dating fouten.
Prostock-studio/Shutterstock
Dat betekent dat het ons zal waarschuwen voor dingen waar we niet om geven, mogelijk op een vervelende manier. Als je de gevoeligheid omlaag brengt, verhoog je het risico dat je geen waarschuwing krijgt wanneer dat nodig is.
Dit is een fundamenteel probleem en geldt evenzeer voor elke adviseur: de voorzichtige adviseur zal te vaak wolf roepen, de optimistische adviseur zal risico’s missen.
Een goede adviseur is iemand die we vertrouwen. Ze zijn ongeveer even voorzichtig als wij, en we weten dat ze weten wat we willen. Dit is moeilijk te vinden in een menselijke adviseur, en nog moeilijker in een AI.
Waar houdt technologie fouten tegen? Idioot-proofing werkt. Snijmachines vereisen dat je knoppen ingedrukt houdt, zodat je handen uit de buurt van de messen blijven. Een “dodemansknop” stopt een machine als de operator onbekwaam wordt.
Magnetrons schakelen de straling uit als de deur wordt geopend. Om raketten te lanceren moeten twee mensen tegelijkertijd sleutels omdraaien in een kamer. Hier maakt een zorgvuldig ontwerp fouten moeilijk. Maar we geven niet genoeg om minder belangrijke situaties, waardoor het ontwerp daar veel minder idioot-proof is.
Wanneer technologie goed werkt, vertrouwen we er vaak te veel op. Piloten van luchtvaartmaatschappijen hebben tegenwoordig minder echte vlieguren dan in het verleden door de verbazingwekkende efficiëntie van automatische piloot systemen. Dit is slecht nieuws wanneer de automatische piloot faalt, en de piloot minder ervaring heeft om de situatie te herstellen.
Het eerste van een nieuw soort olieplatform (Sleipnir A) zonk omdat ingenieurs vertrouwden op de softwareberekening van de krachten die erop inwerken. Het model was fout, maar het presenteerde de resultaten zo overtuigend dat ze betrouwbaar leken.
Veel van onze technologie is verbazingwekkend betrouwbaar. We merken bijvoorbeeld niet hoe verloren datapakketjes op het internet voortdurend achter de schermen worden teruggevonden, hoe foutcorrigerende codes ruis verwijderen of hoe zekeringen en redundantie apparaten veilig maken.
Maar als we niveau na niveau van complexiteit opstapelen, ziet het er erg onbetrouwbaar uit. We merken het wel als de Zoom video vertraagt, het AI programma verkeerd antwoordt of de computer crasht. Maar vraag iemand die 50 jaar geleden een computer of auto gebruikte hoe die eigenlijk werkten, en je zult merken dat ze zowel minder capabel als minder betrouwbaar waren.
We maken technologie complexer totdat het te vervelend of onveilig wordt om te gebruiken. Als de onderdelen beter en betrouwbaarder worden, kiezen we er vaak voor om nieuwe opwindende en nuttige functies toe te voegen in plaats van vast te houden aan wat werkt. Dit maakt de technologie uiteindelijk minder betrouwbaar dan ze zou kunnen zijn.
Er zullen fouten worden gemaakt
Dit is ook de reden waarom AI een tweesnijdend zwaard is voor het vermijden van fouten. Automatisering maakt dingen vaak veiliger en efficiënter als het werkt, maar als het faalt maakt het de problemen veel groter. Autonomie betekent dat slimme software ons denken kan aanvullen en ons kan ontlasten, maar als het niet denkt zoals wij dat willen, kan het zich misdragen.
Hoe complexer het is, hoe fantastischer de fouten kunnen zijn. Iedereen die te maken heeft gehad met hoog intelligente geleerden weet hoe goed zij met grote vindingrijkheid dingen kunnen verknoeien wanneer hun gezond verstand hen in de steek laat – en AI heeft heel weinig menselijk gezond verstand.
Dit is ook een diepgaande reden om ons zorgen te maken over AI die de besluitvorming stuurt: ze maken nieuwe soorten fouten. Wij mensen kennen menselijke fouten, wat betekent dat we erop kunnen letten. Maar slimme machines kunnen fouten maken die wij ons nooit konden voorstellen.
Bovendien worden AI-systemen geprogrammeerd en getraind door mensen. En er zijn veel voorbeelden van zulke systemen die bevooroordeeld en zelfs onverdraagzaam worden. Ze bootsen de vooroordelen na en herhalen de fouten uit de menselijke wereld, zelfs als de betrokkenen die expliciet proberen te vermijden.
Uiteindelijk zullen fouten blijven gebeuren. Er zijn fundamentele redenen waarom we ons vergissen in de wereld, waarom we ons niet alles herinneren wat we zouden moeten onthouden, en waarom onze technologie ons niet perfect kan helpen om problemen te vermijden.
Maar we kunnen er wel aan werken om de gevolgen van fouten te beperken. De undo knop en autosave hebben talloze documenten op onze computers gered. Het Monument in Londen, tsunami stenen in Japan en andere monumenten herinneren ons aan bepaalde risico’s. Goede ontwerppraktijken maken ons leven veiliger.
Uiteindelijk kunnen we iets leren van de geschiedenis. Ons doel zou moeten zijn om te overleven en te leren van onze fouten, niet om te voorkomen dat ze ooit gebeuren. Technologie kan ons daarbij helpen, maar we moeten goed nadenken over wat we er eigenlijk mee willen – en dienovereenkomstig ontwerpen.
HowTheLightGetsIn volgt het thema van Fout en Renaissance, en identificeert fundamentele fouten die we hebben gemaakt in onze theorieën, onze organisatie van de samenleving en in wereldzaken – en verkent nieuwe vormen van denken en handelen. Meer informatie vindt u hier. Kom en zie Conversation editors Miriam Frankel en Matt Warren met speciale gasten Pragya Agarwal, professor sociale ongelijkheid, Loughborough University, en Anders Sandberg, van het Future of Humanity Institute, Oxford University, praten over hoe we cognitieve vooroordelen kunnen overwinnen om anders over de wereld te denken. Hay-on-Wye 26-29 mei. 20% korting op tickets met de code CONVERSATION23.
Anders Sandberg werkt niet voor, geeft geen advies, heeft geen aandelen in of ontvangt geen financiering van een bedrijf of organisatie die baat heeft bij dit artikel, en heeft geen relevante banden bekendgemaakt buiten zijn academische aanstelling.
