Het wiskundige concept van een fractal is een oneindig patroon. G. DAWSON/Flickr, CC BY-SA
Een dominante opvatting in de wetenschap is dat er een wiskundige waarheid bestaat die het universum structureert. Er wordt aangenomen dat het de taak van de wetenschapper is om deze wiskundige relaties te ontcijferen: eenmaal begrepen kunnen ze vertaald worden in wiskundige modellen. Door de resulterende “siliciumwerkelijkheid” in een computer uit te voeren kunnen we dan nuttige inzichten krijgen in hoe de wereld werkt.
Omdat de wetenschap geheimen blijft onthullen, worden de modellen steeds groter. Ze integreren ontdekkingen en nieuw gevonden mechanismen om de wereld om ons heen beter weer te geven. Veel wetenschappers nemen aan dat meer gedetailleerde modellen scherpere schattingen en betere voorspellingen opleveren omdat ze dichter bij de werkelijkheid staan. Maar ons nieuwe onderzoek, gepubliceerd in Science Advances, suggereert dat ze het tegenovergestelde effect kunnen hebben.
De veronderstelling dat “meer detail beter is” gaat dwars door alle vakgebieden heen. De gevolgen zijn enorm. Universiteiten krijgen steeds krachtigere computers omdat ze steeds grotere modellen willen draaien, waarvoor steeds meer rekenkracht nodig is. Onlangs investeerde de Europese Commissie 8 miljard euro (6,9 miljard pond) om een zeer gedetailleerde simulatie van de aarde (met mensen) te maken, een zogenaamde “digitale tweeling”, in de hoop de huidige sociale en ecologische uitdagingen beter te kunnen aanpakken.
In ons nieuwste onderzoek tonen wij aan dat het streven naar steeds complexere modellen als hulpmiddelen om nauwkeurigere schattingen en voorspellingen te doen, wellicht niet werkt. Op basis van statistische theorie en wiskundige experimenten hebben we honderdduizenden modellen met verschillende configuraties uitgevoerd en gemeten hoe onzeker hun schattingen zijn.
Wij ontdekten dat meer complexe modellen meestal meer onzekere schattingen opleveren. Dat komt omdat er nieuwe parameters en mechanismen worden toegevoegd. Een nieuwe parameter, bijvoorbeeld het effect van kauwgom op de verspreiding van een ziekte, moet worden gemeten – en is dus onderhevig aan meetfouten en onzekerheid. Modelleurs kunnen ook verschillende vergelijkingen gebruiken om hetzelfde verschijnsel wiskundig te beschrijven.
Zodra deze nieuwe toevoegingen en hun bijbehorende onzekerheden in het model zijn geïntegreerd, komen ze bovenop de onzekerheden die er al zijn. En de onzekerheden blijven toenemen bij elke verbetering van het model, waardoor de output van het model bij elke stap vager wordt – zelfs als het model zelf de werkelijkheid beter benadert.
Supercomputer.
BearFotos/Shutterstock
Dit betreft alle modellen die geen geschikte validatie- of trainingsgegevens hebben om de nauwkeurigheid van hun output aan te toetsen. Dit omvat wereldwijde modellen van klimaatverandering, hydrologie (waterstroming), voedselproductie en epidemiologie, evenals alle modellen die toekomstige gevolgen voorspellen.
Fuzzy resultaten
In 2009 creëerden ingenieurs een algoritme met de naam Google Flu Trends voor het voorspellen van het aandeel griepgerelateerde doktersbezoeken in de VS. Hoewel het model gebaseerd was op 50 miljoen zoekopdrachten die mensen in Google hadden getypt, kon het de uitbraak van de Mexicaanse griep in 2009 niet voorspellen. De ingenieurs maakten het model, dat nu niet meer werkt, nog complexer. Maar het was nog steeds niet zo nauwkeurig. Uit onderzoek onder leiding van de Duitse psycholoog Gerd Gigerenzer bleek dat het model het doktersbezoek in 2011-13 consequent overschatte, in sommige gevallen met meer dan 50%.
Gigerenzer ontdekte dat een veel eenvoudiger model betere resultaten kon opleveren. Zijn model voorspelde de wekelijkse griepcijfers op basis van slechts één klein stukje informatie: hoeveel mensen de voorgaande week bij de huisarts waren geweest.
Een ander voorbeeld zijn wereldwijde hydrologische modellen, die bijhouden hoe en waar water zich verplaatst en wordt opgeslagen. Ze begonnen eenvoudig in de jaren 1960 op basis van “evapotranspiratieprocessen” (de hoeveelheid water die kan verdampen en verdampen uit een landschap bedekt met planten) en werden al snel uitgebreid, rekening houdend met huishoudelijk, industrieel en agrarisch watergebruik op wereldschaal. De volgende stap voor deze modellen is het simuleren van de vraag naar water op aarde per kilometer per uur.
En toch vraagt men zich af of dit extra detail ze niet nog ingewikkelder maakt. Wij hebben aangetoond dat schattingen van de hoeveelheid water die voor irrigatie wordt gebruikt, die door acht mondiale hydrologische modellen worden geproduceerd, kunnen worden berekend met slechts één enkele parameter – de omvang van het geïrrigeerde gebied.
Wegen voorwaarts
Waarom werd tot nu toe over het hoofd gezien dat meer detail een model slechter kan maken? Veel modelleurs onderwerpen hun modellen niet aan een onzekerheids- en gevoeligheidsanalyse, methoden die onderzoekers vertellen hoe onzekerheden in het model de uiteindelijke schatting beïnvloeden. Velen blijven details toevoegen zonder na te gaan welke elementen in hun model het meest verantwoordelijk zijn voor de onzekerheid in de output.
Dit is verontrustend omdat modelleurs geïnteresseerd zijn in het ontwikkelen van steeds grotere modellen – in feite zijn hele carrières gebouwd op complexe modellen. Dat komt omdat ze moeilijker te vervalsen zijn: hun complexiteit intimideert buitenstaanders en maakt het moeilijker te begrijpen wat er in het model gebeurt.
Er zijn echter oplossingen. Wij stellen voor ervoor te zorgen dat de modellen niet steeds groter en groter worden omwille van het model. Zelfs als wetenschappers een onzekerheids- en gevoeligheidsanalyse uitvoeren, dreigen hun schattingen zo onzeker te worden dat ze nutteloos worden voor wetenschap en beleidsvorming. Het heeft weinig zin veel geld te investeren in computers, alleen maar om modellen te gebruiken waarvan de ramingen volkomen vaag zijn.
In plaats daarvan moeten modelleurs zich afvragen hoe de onzekerheid toeneemt met elke toevoeging van details aan het model – en de beste afweging vinden tussen het niveau van modeldetail en de onzekerheid in de schatting.
Om deze afweging te maken kan gebruik worden gemaakt van het begrip “effectieve dimensies” – een maat voor het aantal parameters dat onzekerheid toevoegt aan de uiteindelijke output, rekening houdend met de wijze waarop deze parameters op elkaar inwerken – dat wij in ons document definiëren.
Door na elke upgrade de effectieve dimensies van een model te berekenen, kunnen modelleurs beoordelen of de toegenomen onzekerheid het model nog steeds geschikt maakt voor beleid – of, integendeel, of het de output van het model zo onzeker maakt dat deze nutteloos is. Dit verhoogt de transparantie en helpt wetenschappers modellen te ontwerpen die de wetenschap en de samenleving beter dienen.
Sommige modelleurs kunnen nog steeds aanvoeren dat de toevoeging van modeldetails kan leiden tot nauwkeurigere ramingen. De bewijslast ligt nu bij hen.
Arnald Puy ontvangt financiering van de Europese Commissie (Marie-Sklodowska Curie Global Fellowship, subsidienummer 792178).