Een sentinel droid komt voor in de film Before We Disappear. AlbinoMosquito Productions Ltd, Auteur voorzien
De meeste films bieden precies dezelfde kijkervaring. Je gaat zitten, de film begint, de plot ontvouwt zich en je volgt wat er op het scherm gebeurt tot het verhaal is afgelopen. Het is een lineaire ervaring. Mijn nieuwe film Before We Disappear – over een paar klimaatactivisten die wraak willen nemen op de bedrijven die de opwarming van de aarde veroorzaken – wil die kijkervaring veranderen.
Wat mijn film anders maakt, is dat hij het verhaal aanpast aan de emotionele reactie van de kijker. Door het gebruik van een computercamera en software, kijkt de film effectief naar het publiek terwijl zij beelden van klimaatrampen bekijken. Kijkers worden impliciet gevraagd een kant te kiezen.
Ik koos ervoor om deze technologie te gebruiken om een film te maken over de klimaatcrisis om mensen echt te laten nadenken over wat ze bereid zijn op te offeren voor een leefbare toekomst.
Verhalen vertellen was altijd al interactief: traditionele mondelinge vertellers reageerden op hun toehoorders. Al bijna een eeuw lang experimenteren filmregisseurs met interactiviteit – het afgelopen decennium heeft een explosie van interactieve inhoud plaatsgevonden.
Streamingdiensten geven kijkers de mogelijkheid hun eigen avontuur te kiezen. De kijker de actie laten bepalen heeft echter lang voor een uitdaging gezorgd: het staat haaks op narratieve immersie, waarbij de kijker in de wereld van het verhaal wordt getrokken.
Een van de meest prominente recente experimenten in interactieve film, Netflix’ Bandersnatch, illustreert dit duidelijk. Hier stopt de actie om de gebruiker te vragen wat hij vervolgens moet doen – waardoor de stroom van het verhaal wordt doorbroken en de kijker actief wordt betrokken. Het oplossen van dit probleem van het doorbreken van de immersieve ervaring blijft een belangrijke vraag voor kunstenaars die interactieve film onderzoeken.
Before We Disappear gebruikt emotionele aanwijzingen van de kijker om de film in real time te monteren.
AlbinoMosquito Productions Ltd, Auteur voorzien
De films die ik maak en regisseer nemen een andere route, waarbij ik gebruik maak van niet-bewuste controle om een film te beïnvloeden terwijl het publiek kijkt. Mijn vorige hersengestuurde films, The Moment (2018) en The Disadvantages of Time Travel (2014), maakten gebruik van brain computer interfaces (BCI’s). Deze systemen gebruiken computers om elektrische signalen van de hersenen te analyseren, waardoor mensen effectief een apparaat met hun geest kunnen besturen.
Met behulp van deze gegevens uit de hersenen creëert het publiek een niet-bewuste montage van de film in real time – wat de respectievelijke verhalen van de films over sciencefiction dystopie en een dolende, dagdromende geest versterkt.
De BCI-interface vereist echter gespecialiseerde apparatuur. Voor Before We Disappear wilde ik een technologie gebruiken die gemakkelijker beschikbaar is voor het publiek en waarmee films via internet kunnen worden gedeeld.
Controle over het verhaal
Before We Disappear gebruikt een gewone computercamera om emotionele signalen te lezen en de real-time montage van de film te sturen. Om dit te laten werken, moesten we goed begrijpen hoe mensen op films reageren.
We deden verschillende studies naar de emoties die filmmakers willen oproepen en hoe kijkers emoties visueel presenteren tijdens het kijken. Met behulp van computer vision en machine learning technieken van onze partner BlueSkeye AI analyseerden we de gezichtsemoties en reacties van kijkers op filmfragmenten en ontwikkelden we verschillende algoritmes om die gegevens te gebruiken om een verhaal te sturen.
Achter de schermen bij het filmen van Before We Disappear.
AlbinoMosquito Productions Ltd, Auteur voorzien
Hoewel we hebben waargenomen dat het publiek niet geneigd is om uitgebreid te emotioneren tijdens het kijken naar een film, zijn BlueSkeye’s gezichts- en emotieanalyse tools gevoelig genoeg om genoeg kleine variaties en emotionele signalen op te pikken om de film aan te passen aan de reacties van de kijker.
De analysesoftware meet gezichtsspierbewegingen samen met de sterkte van de emotionele opwinding – in wezen hoe emotioneel een kijker zich op een bepaald moment voelt. De software evalueert ook de positiviteit of negativiteit van de emotie – iets wat we “valentie” noemen.
Wij experimenteren met verschillende algoritmen waarbij deze arousal- en valentiegegevens bijdragen tot real-time bewerkingsbeslissingen, waardoor het verhaal zichzelf herconfigureert. De eerste scène fungeert als een basislijn, waaraan de volgende scène wordt getoetst. Afhankelijk van de respons wordt het verhaal een van de ongeveer 500 mogelijke bewerkingen. In Before We Disappear gebruik ik een niet-lineair verhaal dat het publiek verschillende eindes en emotionele reizen biedt.
Emotionele reis
Ik zie interactieve technologie als een manier om de gereedschapskist van de filmmaker uit te breiden, om een verhaal verder te vertellen en de film aan te passen aan een individuele kijker, waarbij de macht van de regisseur wordt uitgedaagd en verdeeld.
Emotionele reacties kunnen echter misbruikt worden of onvoorziene gevolgen hebben. Het is niet moeilijk voor te stellen dat een online systeem alleen inhoud toont die positieve emoties oproept bij de gebruiker. Dit zou kunnen worden gebruikt om een echokamer te creëren – waar mensen alleen inhoud zien die overeenkomt met de voorkeuren die ze al hebben.
Of het kan gebruikt worden voor propaganda. We zagen in het Cambridge Analytica schandaal hoe grote hoeveelheden persoonlijke informatie van Facebook werden verzameld en gebruikt voor politieke reclame.
De nieuwe film verkent oplossingen voor de klimaatcrisis.
AlbinoMosquito Productions Ltd, Auteur voorzien
Ons onderzoek wil een gesprek op gang brengen over hoe de emotiegegevens van gebruikers op verantwoorde wijze kunnen worden gebruikt met geïnformeerde toestemming, terwijl gebruikers de controle houden over hun eigen persoonlijke informatie. In ons systeem worden de gegevens geanalyseerd op het apparaat van de gebruiker, in plaats van bijvoorbeeld in de cloud.
Grote onderneming, grote verantwoordelijkheid
Onbewuste interactie is big business. Platforms als TikTok en YouTube gebruiken analyses van eerdere interacties van gebruikers op de platforms om de nieuwe inhoud die ze daar te zien krijgen te beïnvloeden. Gebruikers zijn zich niet altijd bewust van welke persoonlijke informatie wordt aangemaakt of opgeslagen, en ze kunnen ook niet beïnvloeden wat algoritmes hen vervolgens voorschotelen.
Het is belangrijk om een systeem te creëren waarin de gegevens van het publiek niet worden opgeslagen. Video van de kijker of gegevens over gezichtsuitdrukkingen mogen nergens worden geüpload of geanalyseerd, behalve op het apparaat van de speler. We zijn van plan om de film uit te brengen als een interactieve app, waarbij we ons bewust zijn van mogelijk misbruik van de gegevens van de gebruiker, en alle persoonlijke gegevens op het apparaat waarmee de film wordt bekeken veilig stellen.
Adaptieve films bieden een alternatief voor de traditionele “choose-your-own-adventure” storytelling. Wanneer het verhaal kan veranderen op basis van de onbewuste reacties van het publiek in plaats van opzettelijke interactie, kan hun aandacht bij het verhaal blijven.
Dit betekent dat ze kunnen genieten van een meer persoonlijke ervaring van de film. Het blijkt dat de oude tradities van het vertellen van verhalen ons in de 21e eeuw nog veel kunnen leren.
Richard Ramchurn is directeur van AlbinoMosquito Productions Ltd, en ontvangt ook financiering van de Arts Council England en EPSRC.