AI-proctoring — geautomatiseerde examenbewaking op grote schaal

Wat AI-proctoring daadwerkelijk doet

AI-proctoring volgt de webcambeelden gedurende het volledige examen en, wanneer schermbewaking is ingeschakeld, ook het gedeelde scherm. Het zoekt naar het soort afwijking waarbij een surveillant een tweede keer zou kijken — een ander gezicht dat in beeld verschijnt, een deelnemer die het beeld verlaat, of een onderbreking in het normale audio- en videopatroon van een examensessie. Ook de identiteitsverificatie aan het begin van de sessie wordt hiermee uitgevoerd: de deelnemer wordt vergeleken met een identiteitsdocument — dezelfde controle die ook bij een live surveillant beschikbaar is. Gebeurt er niets ongewoons, dan gebeurt er niets: niemand kijkt in real time mee en het examen verloopt zonder onderbreking.

Daar liggen ook de grenzen. AI-proctoring markeert; het beoordeelt niet. Het kan geen onderscheid maken tussen een deelnemer die naar een glas water reikt en een deelnemer die naar een telefoon grijpt, dus markeert het beide en laat het onderscheid aan een mens — het verwijdert nooit iemand uit een examen en beslist nooit op eigen initiatief dat er iets mis was. Die beslissing ligt bij de examenaanbieder, op basis van de interpretatie van het gemarkeerde moment door een menselijke beoordelaar. Omdat het geen situationeel begrip van een ruimte heeft, zoals een live surveillant die in real time meekijkt, past het beter bij toetsing met grote volumes en een beperkt risicoprofiel dan bij examens waarbij een verkeerde beoordeling kostbaar is. Voor die examens is menselijke proctoring, of een combinatie van beide, een beter startpunt.

Hoe markeringen en menselijke beoordeling in de praktijk werken

Het markeren gebeurt automatisch, tijdens het examen, zonder dat iemand live meekijkt — dat is precies waar de kostenbesparing zit. Wanneer het systeem een markering plaatst, trekt het niet zelf een conclusie: het voegt het betreffende moment toe aan een wachtrij die door een geschoolde medewerker van het supportteam van PRUEFSTER wordt doorgenomen. Dat is hetzelfde supportteam dat achter human proctoring staat — de support verandert niet afhankelijk van welk product u afneemt, alleen of er ook een proctor live meekijkt.

De beoordeling vindt ná het examen plaats en niet tijdens het examen. Daarom staat in de vergelijking hierboven de inspanning voor beoordeling na het examen bij AI-proctoring hoger aangegeven: iemand moet nog altijd bekijken wat er gemarkeerd is, alleen later in plaats van op het moment zelf. Een beoordelaar bekijkt de gemarkeerde clip, besluit of escalatie zinvol is en beschrijft, waar dat het geval is, wat er is gebeurd zodat de examenaanbieder actie kan ondernemen. De meeste markeringen blijken niets te betekenen — iemand die zich uitrekt, een schaduw die langs de webcam valt, een korte verbindingsonderbreking — en worden zonder verdere actie afgesloten. De markeringen waarbij dat niet zo is, krijgen dezelfde aandacht van geschoold personeel die een live proctor er op dat moment aan gegeven zou hebben, alleen met vertraging.

Daarom laat AI-proctoring zich goed combineren met incidentele human proctoring, of met de 360°-scan van de ruimte voor examens waarbij de belangen dat rechtvaardigen: de markering legt vast wat er is gebeurd, maar iemand moet nog altijd besluiten wat het betekent.