shutterstock
Een kleine twee maanden geleden introduceerde het Amerikaanse kunstmatige intelligentiebedrijf OpenAI een programma met de naam ChatGPT. In wezen een geavanceerde chatbot, waarover veel discussie is geweest.
Sommige commentatoren hebben zijn antwoorden als zeer indrukwekkend omschreven, terwijl anderen de aandacht hebben gevestigd op feitelijke fouten in zijn output. Niettemin is het product geprezen als een potentieel ontwrichtende innovatie voor veel verschillende industrieën.
Een groot deel van wat er tot nu toe over ChatGPT is geschreven heeft zich gericht op de implicaties ervan voor het onderwijs. Het veelgeroemde vermogen van het programma om gedetailleerde antwoorden te geven op vragen over een groot aantal onderwerpen heeft de vrees doen ontstaan dat het schadelijke gevolgen zou kunnen hebben voor het leren en studenten in staat zou kunnen stellen te “spieken” bij examens en huiswerk.
ChatGPT heeft al een aantal tests “afgelegd”, waaronder het Amerikaanse advocatuurexamen, actuariële en medische examens. In alle gevallen presteerde het “out of the box” op of nabij een voldoende. Terwijl sommige werkzaamheden aan ChatGPT kijken naar de nadelen en bezwaren, is ons optimistischer perspectief dat ChatGPT wel eens de vorm zou kunnen aannemen van een goedkope, of zelfs gratis, elektronische onderzoeksassistent.
Onze studie, gepubliceerd in Finance Research Letters, had tot doel te zien of ChatGPT kon worden gebruikt om een financieel artikel te schrijven dat zou worden aanvaard voor een academisch tijdschrift. Het programma doorstond de test, maar presteerde op sommige gebieden beter dan op andere. Bovendien hielp het toevoegen van onze eigen expertise de beperkingen van het programma in de ogen van de beoordelaars van het tijdschrift te overwinnen. De bevindingen suggereren dat ChatGPT een belangrijk hulpmiddel kan zijn voor onderzoek en niet noodzakelijk een bedreiging.
Van goed naar geweldig
Onze gedachte was: als het gemakkelijk is om goede resultaten uit ChatGPT te halen door het gewoon te gebruiken, is er misschien iets extra’s dat we kunnen doen om deze goede resultaten om te zetten in geweldige resultaten.
We vroegen ChatGPT eerst om de standaard vier onderdelen van een onderzoek te genereren: onderzoeksidee, literatuurstudie (een evaluatie van eerder academisch onderzoek over hetzelfde onderwerp), dataset, en suggesties voor testen en onderzoek. Wij specificeerden alleen het brede onderwerp en dat de output geschikt moest zijn voor publicatie in “een goed financieel tijdschrift”.
Dit was versie één van hoe we ChatGPT wilden gebruiken. Voor versie twee plakten wij in het ChatGPT-venster iets minder dan 200 abstracts (samenvattingen) van relevante, bestaande onderzoeken.
Wij vroegen het programma vervolgens hiermee rekening te houden bij het creëren van de vier onderzoeksfasen. Tenslotte voegden we voor versie drie “domeinkennis” toe – input van academische onderzoekers. Wij lazen de antwoorden van het computerprogramma en deden suggesties voor verbeteringen. Zo integreerden wij onze expertise met die van ChatGPT.
Vervolgens vroegen wij een panel van 32 beoordelaars elk een versie te beoordelen van hoe ChatGPT kan worden gebruikt om een academische studie te genereren. De beoordelaars werd gevraagd te beoordelen of de output voldoende uitgebreid en correct was, en of de bijdrage nieuw genoeg was om te worden gepubliceerd in een “goed” academisch financieel tijdschrift.
De grote les was dat al deze studies door de deskundige beoordelaars in het algemeen aanvaardbaar werden geacht. Dit is nogal verbazingwekkend: een chatbot werd in staat geacht academische onderzoeksideeën van hoge kwaliteit te genereren. Dit roept fundamentele vragen op over de betekenis van creativiteit en het eigendom van creatieve ideeën – vragen waarop nog niemand een solide antwoord heeft.
ChatGPT zou het onderzoeksproces kunnen helpen democratiseren.
Shutterstock
Sterke en zwakke punten
De resultaten wijzen ook op enkele potentiële sterke en zwakke punten van ChatGPT. We vonden dat verschillende onderzoeksonderdelen verschillend werden beoordeeld. Het onderzoeksidee en de dataset werden over het algemeen hoog gewaardeerd. Er was een lagere, maar nog steeds aanvaardbare, waardering voor de literatuuroverzichten en de testsuggesties.
Ons vermoeden hier is dat ChatGPT bijzonder sterk is in het nemen van een reeks externe teksten en het verbinden daarvan (de essentie van een onderzoeksidee), of het nemen van gemakkelijk herkenbare delen uit één document en het aanpassen daarvan (een voorbeeld is de gegevenssamenvatting – een gemakkelijk herkenbare “tekstbrok” in de meeste onderzoeken).
Een relatieve zwakte van het platform werd duidelijk wanneer de taak complexer was – wanneer het conceptuele proces te veel stadia kent. Literatuurbesprekingen en tests vallen meestal in deze categorie. ChatGPT was goed in sommige van deze stappen, maar niet in alle. Dit lijkt te zijn opgemerkt door de beoordelaars.
Wij konden deze beperkingen echter overwinnen in onze meest geavanceerde versie (versie drie), waarin wij met ChatGPT samenwerkten om tot aanvaardbare uitkomsten te komen. Alle onderdelen van het geavanceerde onderzoek werden vervolgens hoog gewaardeerd door de reviewers, wat suggereert dat de rol van academische onderzoekers nog niet dood is.
ChatGPT is een hulpmiddel. In onze studie toonden we aan dat het, met enige zorg, kan worden gebruikt om een aanvaardbaar financieel onderzoek te genereren. Zelfs zonder zorg genereert het aannemelijk werk.
Dit heeft een aantal duidelijke ethische implicaties. Onderzoeksintegriteit is al een nijpend probleem in de academische wereld en websites zoals RetractionWatch brengen een gestage stroom van valse, geplagieerde, en gewoon verkeerde, onderzoeken op gang. Zou ChatGPT dit probleem nog kunnen verergeren?
Het zou kunnen, is het korte antwoord. Maar je stopt de geest niet terug in de fles. De technologie zal ook alleen maar beter worden (en snel). Hoe we precies de rol van ChatGPT in onderzoek kunnen erkennen en controleren is een grotere vraag voor een andere dag. Maar onze bevindingen zijn ook in dit opzicht nuttig – door te vinden dat de ChatGPT-studieversie met onderzoeker-expertise superieur is, tonen we aan dat de inbreng van menselijke onderzoekers nog steeds van vitaal belang is in aanvaardbaar onderzoek.
Voorlopig stellen wij voor dat onderzoekers ChatGPT zien als een hulpmiddel, niet als een bedreiging. Het kan vooral een hulpmiddel zijn voor groepen onderzoekers die de financiële middelen voor traditionele (menselijke) onderzoeksassistentie missen – onderzoekers uit de opkomende economie, afgestudeerde studenten en beginnende onderzoekers.
Het is waarschijnlijk de meest optimistische conclusie, maar het is gewoon mogelijk dat ChatGPT (en soortgelijke programma’s) het onderzoeksproces kan helpen democratiseren.
De auteurs werken niet voor, adviseren niet, bezitten geen aandelen in en ontvangen geen financiering van bedrijven of organisaties die baat hebben bij dit artikel, en hebben buiten hun academische aanstelling geen relevante banden bekendgemaakt.
