Supervisão por IA — monitorização automatizada de exames em grande escala

O que a supervisão por IA faz na prática

A supervisão por IA observa a transmissão da webcam durante toda a duração do exame e, quando a monitorização do ecrã está ativada, também o ecrã partilhado. Procura o tipo de anomalia que levaria um supervisor a olhar duas vezes — um rosto diferente a surgir na câmara, o participante a sair do enquadramento ou uma quebra no padrão normal de áudio e vídeo de uma sessão de exame. Trata igualmente da verificação de identidade no início da sessão, comparando o participante com um documento de identificação — a mesma verificação disponível com um supervisor humano. Quando nada de invulgar acontece, nada acontece: ninguém está a observar em tempo real e o exame decorre sem interrupções.

É também esse o seu limite. A supervisão por IA assinala; não julga. Não consegue distinguir um participante que estende a mão para um copo de água de outro que a estende para um telemóvel, pelo que assinala ambos e deixa a distinção a uma pessoa — nunca exclui alguém de um exame nem decide por si própria que algo correu mal. Essa decisão cabe ao organizador do exame, com base na leitura que um revisor humano faz do momento assinalado. Por não ter a compreensão situacional de uma sala que um supervisor humano tem ao observar em tempo real, adequa-se melhor a testes de grande volume e risco moderado do que a exames em que uma decisão errada sai cara. Para esses, a supervisão humana, ou uma combinação de ambas, é o melhor ponto de partida.

Como funcionam realmente a sinalização e a revisão humana

A sinalização ocorre automaticamente, durante o exame, sem que ninguém acompanhe em direto — é precisamente aí que reside a redução de custos. Quando o sistema gera uma sinalização, não chega a nenhuma conclusão por si próprio: acrescenta o momento a uma fila que é trabalhada por um membro formado da equipa de apoio da PRUEFSTER. Trata-se da mesma equipa de apoio que está por trás da supervisão humana — o apoio não muda em função do produto que adquire, apenas se há ou não um supervisor a acompanhar em direto.

A revisão ocorre após o exame e não durante o mesmo, razão pela qual a comparação acima indica que o esforço de revisão pós-exame da supervisão por IA é mais elevado: alguém tem ainda de analisar o que foi sinalizado, apenas mais tarde e não no momento. Um revisor vê o clipe sinalizado, decide se vale a pena escalar a situação e, quando é o caso, redige um relatório do que aconteceu para que o organizador do exame possa agir. A maioria das sinalizações revela-se irrelevante — alguém que se espreguiça, uma sombra que atravessa a webcam, uma breve queda de ligação — e é encerrada sem qualquer ação adicional. As restantes recebem a mesma atenção de pessoal formado que um supervisor em direto lhes teria dado no momento, apenas com algum atraso.

É por isso que a supervisão por IA combina bem com supervisão humana pontual, ou com a verificação da sala a 360° em exames cuja importância o justifique: a sinalização capta o que aconteceu, mas alguém tem ainda de decidir o que isso significa.