Toen de Europese AI-verordening werd aangenomen, sprak men in Brussel van een historisch moment. Voor het eerst, zo heette het, zou een groot machtsblok alomvattende, bindende regels stellen aan kunstmatige intelligentie. Critici uit het bedrijfsleven waarschuwden daarentegen dat Europa zichzelf zou wegreguleren, terwijl Amerikaanse en Chinese bedrijven ongestoord verder zouden innoveren. Beide reacties zijn begrijpelijk, maar beide gaan voorbij aan de vraag waar het in de praktijk om draait: wie gaat de regels eigenlijk handhaven?
De verordening hanteert een risicogerichte benadering. Systemen die als 'hoog risico' worden aangemerkt – denk aan algoritmes die sollicitanten selecteren of beoordelen wie recht heeft op een uitkering – moeten aan strenge eisen voldoen op het gebied van transparantie, documentatie en menselijk toezicht. Op papier is dat een verstandige keuze. Niet elke chatbot hoeft immers even zwaar te worden gecontroleerd als een systeem dat over iemands uitkering beslist.
Nederland weet als geen ander wat er gebeurt wanneer dat toezicht tekortschiet. In de toeslagenaffaire werden duizenden ouders ten onrechte als fraudeur bestempeld, mede op basis van een risicomodel waarvan de uitkomsten onvoldoende kritisch werden getoetst. Het schandaal maakte pijnlijk duidelijk dat 'menselijk toezicht' weinig betekent als de mens in kwestie geen tijd, geen kennis of geen mandaat heeft om de uitkomst van een systeem tegen te spreken.
Daar wringt de schoen. Toezichthouders kampen nu al met personeelstekorten, en specialisten die complexe AI-systemen kunnen doorgronden, kiezen doorgaans voor het veel beter betalende bedrijfsleven. Een wet zonder slagkrachtige handhaving is in het gunstigste geval een papieren tijger, in het ongunstigste geval een vrijbrief: wie zich aan de formele documentatieplicht houdt, kan zich voortaan beroepen op Europese goedkeuring.
De verordening is dus geen eindpunt, maar een begin. Of zij werkelijk iets verandert, hangt niet af van de tekst die in Brussel is vastgesteld, maar van de vraag of de lidstaten bereid zijn te investeren in toezicht dat die naam verdient.