Digitale tentamens op afstand met proctoring

Eind juli 2014 is bij de FNWI bij de Pre-master Information Studies een pilot gedaan met proctoren. Het “Online Proctoren” is een relatief nieuw opkomend concept van het afnemen van tentamens op afstand dat tot nu toe vooral terrein heeft gewonnen in het onderwijs in de Verenigde Staten. Proctoring wordt onder andere gebruikt in MOOCs voor certificering. Er zijn verschillende methodes van proctoring bekend. Aanbieders van online proctor-diensten zijn veelal Amerikaans of gebruiken Amerikaanse software. Dit is een nieuw gebied waardoor de privacy en juridische aspecten nog niet specifiek zijn vastgelegd waarbij de wetgeving in de EU en VS sterk van elkaar verschillen.

Online Pre-master programma
Het online programma Pre-master Information Studies dat in 2012 van start is gegaan geeft toekomstige studenten de mogelijkheid om hun deficiënties weg te werken en vervolgens in te stromen in de eenjarige Master Information Studies.
Als doelgroep van deze online Pre-master waren ten eerste Nederlandse HBO-ers verwacht en studenten uit de omringende landen. Het tentamen was op de locatie bij de FNWI gepland. Al bij de eerste aflevering hebben zich ook drie deelnemers uit verre landen aangemeld waardoor het aanbieden van een tentamen op afstand noodzakelijk werd. De fysieke aanwezigheid op het tentamen van twee uurtjes zou voor die drie deelnemers heel duur en naar verhouding erg tijdrovend zijn. Voor die drie studenten is toen een online tentamen georganiseerd waarbij video en audio contact met hen werd gelegd en hun computerscherm werd gedeeld met een docent die aanwezig was tijdens het hele tentamen. Een tijdrovende operatie om alles goed voor te bereiden en bij zo een kleine aantal qua logistiek nog net uitvoerbaar.
De deelnemers waren met het pre-master programma heel tevreden. Bij de volgende afleveringen van de modules was de aanmelding uit buitenland alleen nog groter. Uit de resultaten van de master bleek geen significant verschil te zijn in het studiesucces tussen de studenten die via de pre-master instroomden en de reguliere instroom studenten. Dat was een goede motivatie om dit online Pre-master programma voort te zetten en actief naar oplossingen te gaan zoeken voor de digitale tentamens op afstand.

Proctor Exam
In november 2013 verscheen een bericht op SURFspace van Proctor Exam (toen nog Proctor2me genoemd), een Nederlandse Startup. Een van de redenen om dit bedrijf in het leven te roepen was juist het privacy probleem dat speelt met het gebruik maken van een Amerikaanse dienst. Proctor Exam werkte met eigen software. De persoonlijke data en de video’s van de examens worden opgeslagen in Nederland.
De innovatieve aanpak van proctoring, de openheid voor maatwerk en de flexibele houding waren de redenen dat een samenwerking is gestart tussen het Pre-master programma Information Studies en Proctor Exam. De ondersteuning is gegeven door ICTO-FNWI. Dit heeft in juli 2014 geleid tot een succesvolle pilot met proctor tentamens.
Proctor Exam heeft een volledig web-based platform waarbij studenten geen programma’s op hun computer hoeProctorExamInBeeldven te downloaden. Proctor Exam maakt gebruik van vier basis elementen: 360° audio en visuele surveillance, ScreenSharing technologie, live examen toezicht en video opnames (figuur 1).

Pilot Digitale tentamen met de proctor
Bij een online module past een online tentamen. Eind juli 2014 bij de derde termijn voor Pre-master tentamens in dat academisch jaar werd besloten om alle deelnemers de gelegenheid te geven om het tentamen op afstand te doen mits hun apparatuur aan de technische eisen van het proctor tentamen voldoet. De deelnemers konden uit privacy redenen het tentamen op afstand weigeren en op locatie bij de FNWI dit komen afleggen. Alle deelnemers werd gevraagd om een apparatuur check te doen. De deelnemers die niet door de apparatuur check zijn gekomen of geen apparatuur check wilden doen konden niet aan het tentamen op afstand met een proctor beginnen. Om extra stress bij het tentamen te voorkomen moesten de toegelaten deelnemers eerst nog een dummy tentamen doen. Het dummy tentamen was precies gelijk aan echt proctor tentamen behalve dat er geen vragen over het vak zijn gesteld maar één open vraag: “Wat vond je van het proctor tentamen?”
Meer dan 60 pre-master studenten hebben uiteindelijk een of meer proctor tentamens op afstand gedaan. 8 studenten kwamen naar het Science park en hebben het tentamen onder de toezicht van een surveillant in een computerzaal gedaan.

Resultaten

figuur2De pilot is technisch gezien goed gegaan. Alle deelnemers hebben direct na het tentamen een enquête ingevuld (ook als ze op locatie het tentamen hebben afgelegd). Uit de enquête bleek dat de grote meerderheid tevreden tot zeer tevreden was met de proctor (figuur 2).

Visuele en audio toezicht tijdens een online examen werd door 69% van de studenten als prettig ervaren (figuur 3). 34% van de studenten  waren positief gestemd over de privacy regelementen van ProctorExam en 20% waren daar niet tevreden over (figuur 4).

figuur3a figuur3b

De pilot in juli heeft de technische aspecten van een proctor exam goed getest. Op basis van die ervaring heeft Proctor Exam zijn software en look and feel op het platform nog verbeterd. Voor de Pre-master is er een workflow gemaakt voor het proctor tentamen.

We hebben veel geleerd uit de pilot maar er moet nog meer inspanning komen voordat het tentamineren op afstand met proctoring een standaard procedure kan worden. Er zijn nog juridische en privacy gerelateerde vragen die opgelost moeten worden op dit nieuwe gebied. Bijvoorbeeld over hoe lang moeten/mogen de video’s van de tentamens bewaard worden. Of wat zijn precies de consequenties van een ongewenst gedrag bij het tentamen voor een student of wat zijn de regels bij het uitvallen van de internet verbinding. Proctor Exam en Pre-master programma met de ondersteuning van ICTO-FNWI zullen in de komende periode daarom nog een aantal pilots samen uitvoeren, de workflow optimaliseren en al deze vragen proberen te beantwoorden zodat het tentamineren met proctoring als een standaard procedure ingevoerd zou kunnen worden bij de Pre-master Information Studies en daarna misschien ook bij andere pre-master programma’s of zelfs in regulier onderwijs.

Op 14 november wordt een bijeenkomst georganiseerd waar een demonstratie van een proctor tentamen wordt gegeven. Als gast zal Meta Keijzer van de TU Delft een presentatie geven over de aanpak die over het digitaal toetsen op afstand bij de TU Delft hierover is gekozen.
Zie meer over deze bijeenkomst en voor de aanmelding op Starfish:
http://starfish.innovatievooronderwijs.nl/event/424/

Bijdrage: Natasa Brouwer en Daniel Haven (Proctor Exam)

Advertenties