KI-Prüfungsaufsicht — automatisierte Überwachung im großen Maßstab

Was KI-Proctoring tatsächlich leistet

KI-Proctoring überwacht den Webcam-Stream über die gesamte Prüfungsdauer und – sofern die Bildschirmüberwachung aktiviert ist – zusätzlich den geteilten Bildschirm. Dabei wird nach Auffälligkeiten gesucht, bei denen auch ein Proctor zweimal hinsehen würde: ein anderes Gesicht im Kamerabild, ein Teilnehmer, der den Bildbereich verlässt, oder eine Abweichung vom normalen Audio- und Videomuster einer Prüfungssitzung. Ebenso übernimmt das System zu Beginn der Sitzung die Identitätsprüfung und vergleicht den Teilnehmer mit einem Ausweisdokument – dieselbe Prüfung, die auch mit einem Live-Proctor verfügbar ist. Geschieht nichts Ungewöhnliches, geschieht nichts: Niemand beobachtet in Echtzeit, und die Prüfung läuft ohne Unterbrechung ab.

Genau darin liegt aber auch die Grenze. KI-Proctoring markiert, es bewertet nicht. Es kann nicht unterscheiden, ob ein Teilnehmer nach einem Glas Wasser oder nach einem Smartphone greift – daher markiert es beides und überlässt die Unterscheidung einem Menschen. Es schließt niemanden von einer Prüfung aus und entscheidet nicht eigenständig, dass ein Verstoß vorlag. Diese Entscheidung liegt beim Prüfungsanbieter, gestützt auf die Einschätzung eines menschlichen Prüfers zur markierten Situation. Da dem System das situative Verständnis eines Raums fehlt, über das ein Live-Proctor in Echtzeit verfügt, eignet es sich besser für Prüfungen mit hohem Volumen und moderaten Anforderungen als für solche, bei denen eine Fehlentscheidung teuer ist. Für diese Fälle sind menschliches Proctoring oder eine Kombination aus beidem der bessere Ausgangspunkt.

Wie Markierung und menschliche Prüfung tatsächlich ablaufen

Die Markierung erfolgt automatisch während der Prüfung, ohne dass jemand live zusieht – genau darauf beruht die Kostenersparnis. Wenn das System eine Markierung setzt, zieht es daraus keine eigene Schlussfolgerung: Der Moment wird einer Warteschlange hinzugefügt, die ein geschulter Mitarbeiter des PRUEFSTER-Supports abarbeitet. Es handelt sich um dasselbe Support-Team, das auch das menschliche Proctoring betreut – der Support ändert sich nicht je nach gewähltem Produkt, sondern nur die Frage, ob zusätzlich ein Proctor live zusieht.

Die Prüfung findet nach der Prüfungssitzung statt, nicht während ihr. Deshalb weist der Vergleich oben für KI-Proctoring einen höheren Aufwand bei der Nachbereitung aus: Jemand muss sich die markierten Momente dennoch ansehen, nur eben später und nicht unmittelbar. Ein Prüfer sieht sich den markierten Clip an, entscheidet, ob eine Eskalation angebracht ist, und dokumentiert gegebenenfalls den Vorfall, damit der Prüfungsanbieter darauf reagieren kann. Die meisten Markierungen erweisen sich als unbedenklich – jemand streckt sich, ein Schatten zieht über die Webcam, die Verbindung bricht kurz ab – und werden ohne weitere Maßnahmen geschlossen. Alle anderen erhalten dieselbe Aufmerksamkeit geschulter Mitarbeiter, die ein Live-Proctor ihnen im Moment gewidmet hätte, nur zeitversetzt.

Deshalb lässt sich KI-Proctoring gut mit gelegentlichem menschlichem Proctoring oder mit dem 360°-Raumscan kombinieren, wenn die Bedeutung der Prüfung es rechtfertigt: Die Markierung erfasst, was passiert ist, aber jemand muss dennoch entscheiden, was es bedeutet.