Dankzij sociale media konden we met elkaar in contact komen als nooit tevoren. Maar er hangt ook een prijskaartje aan: iedereen krijgt de megafoon, ook terroristen, kindermisbruikers en haatgroepen. De EU-instellingen hebben onlangs een akkoord bereikt over de Digital Services Act (DSA), die “ervoor moet zorgen dat wat offline illegaal is, online ook illegaal is”.
De Britse regering heeft ook een wetsvoorstel over online veiligheid in de maak, om de eisen voor digitale platforms om illegaal materiaal te verwijderen te verscherpen.
De schaal waarop grote sociale-mediaplatforms opereren – ze kunnen miljarden gebruikers van over de hele wereld hebben – vormt een grote uitdaging bij het controleren van illegale inhoud. Wat in het ene land illegaal is, kan in het andere land een legale en beschermde meningsuiting zijn. Bijvoorbeeld, regels rond het bekritiseren van de regering of leden van een koninklijke familie.
Dit wordt ingewikkeld wanneer een gebruiker een bericht plaatst vanuit het ene land, en het bericht wordt gedeeld en bekeken in andere landen. Binnen het Verenigd Koninkrijk zijn er zelfs situaties geweest waarin het legaal was om iets op de voorpagina van een krant te drukken in Schotland, maar niet in Engeland.
De DSA laat het aan de lidstaten van de EU over om illegale inhoud in hun eigen wetten te definiëren.
De databankbenadering
Zelfs wanneer de wet duidelijk is, bijvoorbeeld wanneer iemand gecontroleerde drugs te koop aanbiedt of rekruteert voor verboden terreurgroepen, wordt de moderatie van inhoud op sociale-mediaplatforms geconfronteerd met uitdagingen van schaalgrootte.
Gebruikers plaatsen honderden miljoenen berichten per dag. Automatisering kan bekende illegale inhoud detecteren op basis van een vage vingerafdruk van de inhoud van het bestand. Maar dit werkt niet zonder een database en inhoud moet worden beoordeeld voordat het wordt toegevoegd.
In 2021 onderzocht de Internet Watch Foundation meer meldingen dan in de eerste 15 jaar van hun bestaan, waaronder 252.000 die kindermisbruik bevatten: een stijging van 64% op jaarbasis ten opzichte van 2020.
Nieuwe video’s en beelden zullen echter niet door een database worden opgevangen. Hoewel kunstmatige intelligentie kan proberen te zoeken naar nieuwe inhoud, zal het niet altijd goed gaan.
Hoe verhouden de sociale platforms zich tot elkaar?
Begin 2020 zou Facebook ongeveer 15.000 content moderators hebben in de VS, vergeleken met 4.500 in 2017. TikTok beweerde eind 2020 10.000 mensen te hebben die werken aan “vertrouwen en veiligheid” (wat iets breder is dan inhoudsmoderatie). Een NYU Stern School of Business-rapport uit 2020 suggereerde dat Twitter ongeveer 1.500 moderatoren had.
Facebook beweert dat in 2021 97% van de inhoud die zij als haatzaaiend hebben gemarkeerd, door AI is verwijderd, maar we weten niet wat er is gemist, niet gerapporteerd of niet verwijderd.
De DSA zal ervoor zorgen dat de grootste sociale netwerken hun gegevens en informatie openstellen voor onafhankelijke onderzoekers, wat de transparantie moet vergroten.
Menselijke moderators v tech
Het beoordelen van gewelddadige, verontrustende, racistische en haatdragende inhoud kan traumatisch zijn voor moderatoren, en leidde tot een schikking in de rechtbank van US€52 miljoen (£42 miljoen). Sommige moderatoren van sociale media melden dat ze tot 8.000 gemarkeerde berichten per dag moeten bekijken.
Hoewel er opkomende AI-gebaseerde technieken zijn die proberen specifieke soorten inhoud te detecteren, hebben AI-gebaseerde tools moeite om onderscheid te maken tussen illegale en onsmakelijke of potentieel schadelijke (maar verder legale) inhoud. AI kan onschadelijke inhoud ten onrechte markeren en schadelijke inhoud missen, en zal de behoefte aan menselijke beoordeling doen toenemen.
Facebook’s eigen interne studies vonden naar verluidt gevallen waarin de verkeerde actie werd ondernomen tegen posts maar liefst “90% van de tijd”. Gebruikers verwachten consistentie, maar dit is moeilijk te leveren op schaal, en de moderators beslissingen zijn subjectief. Grijze gebieden zullen zelfs de meest specifieke en voorschrijvende richtlijnen frustreren.
Evenwichtsoefening
De uitdaging strekt zich ook uit tot onjuiste informatie. Er is een dunne lijn tussen het beschermen van de vrijheid van meningsuiting en de persvrijheid, en het voorkomen van opzettelijke verspreiding van onjuiste inhoud. Dezelfde feiten kunnen vaak anders worden voorgesteld, iets wat bekend is bij iedereen die bekend is met de lange geschiedenis van “spin” in de politiek.
Sociale netwerken steunen vaak op gebruikers die schadelijke of illegale inhoud melden, en de DSA tracht dit te ondersteunen. Maar een al te geautomatiseerde aanpak van moderatie kan inhoud die een bepaald aantal meldingen bereikt, markeren of zelfs verbergen. Dit betekent dat groepen gebruikers die inhoud of standpunten willen onderdrukken, het massaal melden van inhoud als wapen kunnen gebruiken.
Sociale mediabedrijven richten zich op gebruikersgroei en tijd die op het platform wordt doorgebracht. Zolang misbruik geen van beide in de weg staat, zullen ze waarschijnlijk meer geld verdienen. Daarom is het belangrijk wanneer platforms strategische (maar potentieel polariserende) maatregelen nemen – zoals het verwijderen van de voormalige Amerikaanse president Donald Trump van Twitter.
De meeste verzoeken van de DSA zijn op zich redelijk, maar zullen moeilijk op schaal te implementeren zijn. Meer controle op inhoud zal leiden tot meer gebruik van automatisering, die geen subjectieve evaluaties van de context kan maken. Beroepsprocedures kunnen te traag zijn om zinvol verhaal te bieden indien een gebruiker ten onrechte een geautomatiseerd verbod heeft gekregen.
Als de juridische sancties voor het foutief modereren van content hoog genoeg zijn voor sociale netwerken, hebben ze op korte termijn wellicht weinig andere keuze dan zorgvuldiger te beperken wat gebruikers te zien krijgen. TikTok’s aanpak van handgeplukte inhoud werd alom bekritiseerd. Platformvooroordelen en “filterbubbels” zijn een reëel probleem. Filter bubbles ontstaan wanneer inhoud die je te zien krijgt automatisch wordt geselecteerd door een algoritme, dat probeert te raden wat je vervolgens wilt zien, op basis van gegevens zoals wat je eerder hebt bekeken. Gebruikers beschuldigen sociale-mediabedrijven soms van vooringenomenheid op het platform, of oneerlijke moderatie.
Is er een manier om een wereldwijde megafoon te modereren? Ik zou zeggen van niet, althans niet op grote schaal. We zullen het antwoord waarschijnlijk zien via de handhaving van de DSA in de rechtszaal.
Greig is lid van de UK 5G security group, en de Telecoms Data Taskforce. Hij heeft gewerkt aan 5G-projecten die door DCMS zijn gefinancierd.
