AI die over mensen beslist

DE ZWAARSTE CATEGORIE VAN DE EUROPESE AI-WET. VANAF € 4.950.

Gaat dit over u?

Gebruikt u software die meebeslist over wie wordt aangenomen, wie krediet krijgt of wie recht heeft op een voorziening? Dan valt dat onder de zwaarste categorie van de Europese AI-wet. Het gaat niet om hoe geavanceerd de software is, maar om waar de uitkomst over gaat. Herkent u een van deze situaties, dan zit u in die categorie:

  • Software die sollicitanten rangschikt, voorselecteert of een score geeft
  • Software die prestaties of gedrag van medewerkers beoordeelt, of meeweegt bij promotie en ontslag
  • Een beoordeling of iemand een lening, krediet of hypotheek kan krijgen
  • Een risico-inschatting of premieberekening bij een levens- of zorgverzekering
  • Het toekennen van een uitkering, vergunning of andere voorziening door de overheid
  • Toelating, beoordeling of fraudecontrole bij toetsen in het onderwijs
  • Gezichtsherkenning op afstand, of software die emoties afleest
Wat er juist níet onder valt

Software die financiële fraude opspoort — dat is iets anders dan beoordelen of iemand kredietwaardig is. En inloggen met uw eigen gezicht of vingerafdruk — dat is iets anders dan iemand van een afstand herkennen.

Wat de wet van u vraagt

Negen dingen, en ze zijn stuk voor stuk te doen. Het lastige is niet elk punt apart, maar dat u ze alle negen moet kunnen laten zien op het moment dat iemand ernaar vraagt.

  1. Gebruik het systeem zoals de leverancier het bedoeld heeft, en leg vast hoe u dat heeft geregeld.
  2. Wijs iemand aan die erop let — met genoeg kennis en genoeg bevoegdheid om een uitkomst naast zich neer te leggen.
  3. Weet welke gegevens erin gaan, en of die kloppen voor het doel waarvoor u het systeem gebruikt.
  1. Houd bij wat het systeem doet, en bewaar dat minstens zes maanden.
  2. Houd in de gaten of het nog goed werkt, en meld het bij de leverancier en de toezichthouder als er iets misgaat.
  3. Informeer uw medewerkers en de ondernemingsraad vóórdat u het systeem in gebruik neemt.
  1. Vertel de mensen om wie het gaat dat dit systeem op hen wordt toegepast.
  2. Bent u een overheidsorganisatie? Dan moet het systeem in het Europese register staan voordat u het mag gebruiken.
  3. Onderzoek wat het systeem met mensen doet: wie het raakt, welke schade kan ontstaan, en waar iemand terechtkan als het misgaat.
Wat zo’n onderzoek precies inhoudt
Het onderzoek naar de gevolgen voor mensen heeft twaalf onderdelen, de gegevensbeschermingsbeoordeling negen. Wij hebben ze allebei op één plaat gezet, zodat u ziet waar wij u doorheen loodsen — en waarom dit geen formulier is dat u even invult.

Wat u van ons krijgt

Het dossier voor één systeem
vanaf € 4.950
Alles wat de wet vraagt, uitgewerkt voor dat ene systeem.
Het onderzoek naar wat het met mensen doet
vanaf € 2.950
Nodig bij overheid, publieke taak, krediet en verzekeringen.
Elk extra systeem
vanaf € 2.250
Het dossierwerk gaat per systeem, dus elk systeem telt apart.

Alle bedragen zijn exclusief btw. In het dossier zit een werkinstructie per systeem, een aanwijzing op naam van degene die toezicht houdt, een overzicht van welke gegevens erin gaan, afspraken over wat het systeem bijhoudt en hoe lang u dat bewaart, een meldprocedure, modelberichten aan uw personeel en aan de mensen om wie het gaat, en bij een overheidsorganisatie het registratiedossier.

Optioneel: een overzicht van wat mensen nodig hebben. Voor organisaties die het onderzoek niet alleen op papier willen doen, maar echt willen ophalen bij de groepen die het raakt. De omvang verschilt sterk per organisatie, dus hiervoor maken wij een aparte raming.

U krijgt altijd eerst een offerte op uw eigen situatie.

Waarom wij, en niet uw advocaat

Het onderzoek naar wat uw AI met mensen doet is geen juridisch stuk. De wet vraagt u om vast te stellen wie er door uw systeem geraakt wordt, welke schade die mensen kunnen oplopen, hoe uw medewerkers er in de praktijk mee omgaan en waar iemand terechtkan als het misgaat. Dat haalt u niet uit een wetboek. Dat haalt u op bij mensen — en meestal bij mensen die het onderling niet eens zijn.

Wij kennen de verplichtingen woordelijk; in het dossier ziet u bij elk onderdeel staan waar het vandaan komt. Wat wij daarnaast meebrengen is twintig jaar omgevingsmanagement bij infrastructuurprojecten: het gesprek leiden tussen partijen die er anders in staan, en daar een oordeel uit halen dat iedereen herkent en dat een toezichthouder kan volgen.

Dat is het verschil tussen een document dat klopt en een document dat klopt én gedragen wordt.

Wat wij niet doen

Wij werken voor organisaties die een AI-systeem gebruiken. Bouwt u zelf AI, of past u een bestaand systeem zo ingrijpend aan dat u het onder uw eigen naam aanbiedt, dan bent u volgens de wet geen gebruiker meer maar leverancier. Dan geldt een veel zwaarder pakket, met een officiële keuring en vaak een CE-markering erbij. Dat is een certificeringstraject en daar zijn wij niet de juiste partij voor. Dat zeggen wij liever vooraf dan halverwege, en wij kunnen u doorverwijzen.

Let op de rolwissel. Laat u iets op maat bouwen en zet u er uw eigen naam op, dan kunt u ongemerkt leverancier worden. Dat is precies het soort ding dat wij in de Quickscan voor u uitzoeken.

Eerst de Quickscan

Wij kunnen geen dossier maken zonder te weten om welk systeem het gaat en wat er in de handleiding van de leverancier staat. De Quickscan (vanaf € 1.950) stelt vast welke systemen u heeft, welke in de zwaarste categorie vallen en of u het onderzoek naar de gevolgen voor mensen moet doen. Pas daarna kunnen wij u een eerlijke prijs geven.

Reken dus op een eerste factuur van ten minste € 1.950 voor de Quickscan, plus vanaf € 4.950 voor het dossier.

Wanneer moet dit klaar zijn

2 december 2027. Dat lijkt ver weg, maar het is de datum waarop het klaar moet zijn — niet de datum waarop u kunt beginnen. Voor een grote organisatie is er geen tijd te verliezen. Het onderzoek naar de gevolgen voor mensen vraagt gesprekken met meerdere afdelingen, met de ondernemingsraad en soms met de groepen om wie het gaat, en daarna moet de uitkomst nog naar de toezichthouder. Dat plant u niet in de laatste maand.

Stef Kampinga, oprichter van Proflexis

Waar kunnen we u mee helpen?

Van een gratis eerste inzicht tot een compleet programma waarmee u kunt laten zien dat u aan de wet voldoet: we helpen u graag verder. Alles op afstand, met heldere prijzen en doorlooptijden.