Proctoring AI — zautomatyzowany nadzór nad egzaminami na dużą skalę

Co faktycznie robi proctoring AI

Proctoring AI obserwuje obraz z kamery internetowej przez cały czas trwania egzaminu, a jeśli włączony jest nadzór nad ekranem — również udostępniany ekran. Wyszukuje nieprawidłowości tego rodzaju, które skłoniłyby proctora do ponownego przyjrzenia się sytuacji — pojawienie się innej twarzy w kadrze, opuszczenie kadru przez uczestnika lub przerwanie normalnego schematu audio i wideo sesji egzaminacyjnej. Obsługuje również weryfikację tożsamości na początku sesji, porównując uczestnika z dokumentem tożsamości — jest to ta sama kontrola, która jest dostępna przy proctoringu na żywo. Gdy nie dzieje się nic nietypowego, nic się nie dzieje: nikt nie obserwuje w czasie rzeczywistym, a egzamin przebiega bez zakłóceń.

To także jego ograniczenie. Proctoring AI oznacza zdarzenia, ale ich nie ocenia. Nie potrafi odróżnić uczestnika sięgającego po szklankę wody od tego, który sięga po telefon, więc oznacza oba przypadki i pozostawia rozstrzygnięcie człowiekowi — nigdy nie usuwa nikogo z egzaminu ani nie decyduje samodzielnie, że doszło do nieprawidłowości. Ta decyzja należy do organizatora egzaminu i opiera się na ocenie oznaczonego momentu dokonanej przez osobę weryfikującą. Ponieważ system nie rozumie sytuacji w pomieszczeniu tak, jak proctor obserwujący na żywo w czasie rzeczywistym, lepiej sprawdza się w egzaminach o dużej liczbie uczestników i standardowej wadze niż tam, gdzie błędna decyzja jest kosztowna. W takich przypadkach lepszym punktem wyjścia jest proctoring z udziałem człowieka lub połączenie obu rozwiązań.

Jak w praktyce działa oznaczanie zdarzeń i weryfikacja przez człowieka

Oznaczanie zdarzeń odbywa się automatycznie, w trakcie egzaminu, bez obserwacji na żywo — i właśnie na tym polega oszczędność kosztów. Gdy system oznaczy zdarzenie, nie wyciąga samodzielnie żadnych wniosków: dodaje dany moment do kolejki, którą opracowuje przeszkolony pracownik działu wsparcia PRUEFSTER. To ten sam zespół wsparcia, który stoi za proctoringiem prowadzonym przez człowieka — wsparcie nie zmienia się w zależności od wybranego produktu, zmienia się jedynie to, czy egzamin jest dodatkowo obserwowany na żywo przez proctora.

Weryfikacja następuje po egzaminie, a nie w jego trakcie — dlatego w powyższym porównaniu nakład pracy związany z weryfikacją poegzaminacyjną w przypadku proctoringu AI oznaczono jako wyższy: ktoś nadal musi przejrzeć oznaczone zdarzenia, tyle że później, a nie na bieżąco. Osoba weryfikująca ogląda oznaczony fragment nagrania, decyduje, czy warto go eskalować, a jeśli tak — opisuje przebieg zdarzenia, aby organizator egzaminu mógł podjąć odpowiednie działania. Większość oznaczeń okazuje się nieistotna — ktoś się przeciągnął, cień przesunął się przed kamerą, na chwilę zerwało się połączenie — i zostaje zamknięta bez dalszych działań. Pozostałym poświęca się taką samą uwagę przeszkolonego personelu, jaką poświęciłby im proctor na żywo, tyle że z opóźnieniem.

Dlatego proctoring AI dobrze łączy się z okazjonalnym proctoringiem prowadzonym przez człowieka lub ze skanem pomieszczenia 360° w przypadku egzaminów, w których uzasadnia to wysoka stawka: oznaczanie rejestruje to, co się wydarzyło, ale ktoś nadal musi zdecydować, co to oznacza.