Gorodenkoff / Shutterstock

Gezien het enorme probleemoplossende potentieel van kunstmatige intelligentie (AI), zou het niet vergezocht zijn om te denken dat AI ons ook zou kunnen helpen bij het aanpakken van de klimaatcrisis. Als we echter kijken naar de energiebehoeften van AI-modellen, wordt het duidelijk dat de technologie net zo goed een deel van het klimaatprobleem is als een oplossing.

De uitstoot komt van de infrastructuur die bij AI hoort, zoals het bouwen en runnen van de datacenters die de grote hoeveelheden informatie verwerken die nodig zijn om deze systemen in stand te houden.

Maar verschillende technologische benaderingen van de manier waarop we AI-systemen bouwen, zouden kunnen helpen om de CO2-voetafdruk te verminderen. Twee technologieën in het bijzonder zijn veelbelovend om dit te doen: spiking neurale netwerken en levenslang leren.

De levensduur van een AI-systeem kan worden opgesplitst in twee fasen: training en inferentie. Tijdens de training wordt een relevante dataset gebruikt om het systeem op te bouwen en af te stellen – te verbeteren. Bij inferentie genereert het getrainde systeem voorspellingen op ongeziene gegevens.

Voor het trainen van een AI die gebruikt gaat worden in zelfrijdende auto’s is bijvoorbeeld een dataset nodig van veel verschillende rijscenario’s en beslissingen die genomen zijn door menselijke bestuurders.

Na de trainingsfase zal het AI-systeem effectieve manoeuvres voor een zelfrijdende auto voorspellen. Kunstmatige neurale netwerken (ANN) zijn een onderliggende technologie die in de meeste huidige AI-systemen wordt gebruikt.

Ze hebben veel verschillende elementen, parameters genaamd, waarvan de waarden worden aangepast tijdens de trainingsfase van het AI-systeem. Deze parameters kunnen oplopen tot meer dan 100 miljard in totaal.

Hoewel grote aantallen parameters de capaciteiten van ANN’s verbeteren, maken ze ook processen die veel middelen vergen voor training en inferentie. Om de zaken in perspectief te plaatsen: het trainen van GPT-3 (het AI-systeem dat voorafging aan het huidige ChatGPT) genereerde 502 ton koolstof, wat gelijk staat aan een jaar lang in 112 auto’s met benzinemotoren rijden.

GPT-3 stoot verder jaarlijks 8,4 ton CO₂ uit door inferentie. Sinds de AI-boom begin 2010 begon, is de energiebehoefte van AI-systemen die bekend staan als grote taalmodellen (LLM’s) – het type technologie achter ChatGPT – met een factor 300.000 gestegen.

Met de toenemende alomtegenwoordigheid en complexiteit van AI-modellen zal deze trend zich voortzetten, waardoor AI mogelijk een aanzienlijke bijdrage gaat leveren aan de CO₂-uitstoot. In feite zouden onze huidige schattingen wel eens lager kunnen uitvallen dan de werkelijke CO2-voetafdruk van AI, vanwege een gebrek aan standaard en nauwkeurige technieken voor het meten van AI-gerelateerde emissies.

Leonid Sorokin / Shutterstock

Spiking neurale netwerken

De eerder genoemde nieuwe technologieën, spiking neurale netwerken (SNN’s) en levenslang leren (L2), hebben de potentie om de steeds groter wordende CO2-voetafdruk van AI te verlagen, waarbij SNN’s fungeren als een energie-efficiënt alternatief voor ANN’s.

ANN’s werken door patronen uit gegevens te verwerken en te leren, waardoor ze voorspellingen kunnen doen. Ze werken met decimale getallen. Om nauwkeurige berekeningen te maken, vooral bij het vermenigvuldigen van getallen met decimalen, moet de computer zeer nauwkeurig zijn. Door deze decimale getallen hebben ANNs veel rekenkracht, geheugen en tijd nodig.

Dit betekent dat ANNs energie-intensiever worden naarmate de netwerken groter en complexer worden. Zowel ANN’s als SNN’s zijn geïnspireerd op de hersenen, die miljarden neuronen (zenuwcellen) bevatten die met elkaar verbonden zijn via synapsen.

Net als de hersenen hebben ANN’s en SNN’s ook componenten die onderzoekers neuronen noemen, hoewel deze kunstmatig zijn en niet biologisch. Het belangrijkste verschil tussen de twee soorten neurale netwerken zit in de manier waarop individuele neuronen informatie aan elkaar doorgeven.

Neuronen in het menselijk brein communiceren met elkaar door intermitterende elektrische signalen, pieken genaamd, uit te zenden. De pieken zelf bevatten geen informatie. In plaats daarvan ligt de informatie in de timing van deze pieken. Deze binaire, alles-of-niets-karakteristiek van spikes (meestal weergegeven als 0 of 1) impliceert dat neuronen actief zijn als ze spikes uitzenden en anders inactief.

Dit is een van de redenen voor energie-efficiënte verwerking in de hersenen.

Net zoals morsecode specifieke opeenvolgingen van punten en streepjes gebruikt om berichten over te brengen, gebruiken SNN’s patronen of tijdstippen van pieken om informatie te verwerken en over te brengen. Dus, terwijl de kunstmatige neuronen in ANN’s altijd actief zijn, verbruiken SNN’s alleen energie wanneer er een piek optreedt.

Anders hebben ze bijna geen energie nodig. SNN’s kunnen tot 280 keer energie-efficiënter zijn dan ANN’s.

Mijn collega’s en ik ontwikkelen leeralgoritmen voor SNN’s die hen nog dichter bij de energie-efficiëntie van de hersenen kunnen brengen. De lagere rekenvereisten impliceren ook dat SNN’s in staat zouden kunnen zijn om sneller beslissingen te nemen.

Deze eigenschappen maken SNN’s nuttig voor een breed scala aan toepassingen, waaronder ruimteverkenning, defensie en zelfrijdende auto’s vanwege de beperkte energiebronnen die in deze scenario’s beschikbaar zijn.

Levenslang leren

L2 is een andere strategie om de totale energiebehoefte van ANNs gedurende hun levensduur te verminderen waar we ook aan werken.

Door ANNs sequentieel te trainen (waarbij de systemen leren van reeksen gegevens) op nieuwe problemen, vergeten ze hun eerdere kennis terwijl ze nieuwe taken leren. ANNs moeten opnieuw worden getraind wanneer hun werkomgeving verandert, waardoor de AI-gerelateerde emissies verder toenemen.

L2 is een verzameling algoritmen waarmee AI-modellen opeenvolgend kunnen worden getraind op meerdere taken met weinig of geen vergeetachtigheid. L2 stelt modellen in staat om gedurende hun hele levensduur te leren door voort te bouwen op hun bestaande kennis zonder dat ze helemaal opnieuw hoeven te worden getraind.

Het gebied van AI groeit snel en er zijn andere potentiële ontwikkelingen die de energiebehoefte van deze technologie kunnen verminderen. Bijvoorbeeld het bouwen van kleinere AI-modellen die dezelfde voorspellende capaciteiten hebben als een groter model.

Vooruitgang op het gebied van kwantumcomputing – een andere benadering van het bouwen van computers die gebruik maakt van fenomenen uit de wereld van kwantumfysica – zou ook snellere training en inferentie mogelijk maken met behulp van ANN’s en SNN’s. De superieure rekencapaciteiten van kwantumcomputing zouden ons in staat kunnen stellen om energie-efficiënte oplossingen te vinden voor AI op een veel grotere schaal.

De uitdaging van klimaatverandering vereist dat we oplossingen proberen te vinden voor snel ontwikkelende gebieden zoals AI voordat hun koolstofvoetafdruk te groot wordt.

Shirin Dora werkt niet voor, heeft geen adviesfuncties, bezit geen aandelen in en ontvangt geen financiering van bedrijven of organisaties die baat hebben bij dit artikel, en heeft geen relevante banden bekendgemaakt buiten haar academische aanstelling.