Digitaal toetsen

Naar verwachting worden steeds meer toetsen in de toekomst digitaal afgenomen. Digitaal toetsen is complex en er is ondersteuning voor de docent nodig. Hiervoor is bij de FNWI een nieuw project gestart.

De UvA heeft naast de digitale toetszaal, voor 150 studenten op het Roeterseiland, in september 2015 twee nieuwe digitale zalen in gebruik genomen op het AMC (IWO zaal rood en blauw, elk met 300 computers).

IWOrood_uitsnede_kleinIWO Toetszaal Rood tijdens een test.

Er zijn in 2015-2016 bij de FNWI 20 digitale toetsen in digitale toetszalen geroosterd. Om  digitaal toetsen te kunnen in deze zalen zijn goede voorzieningen én op maat ondersteuning bij de faculteit nodig. We willen dit bij de FNWI goed regelen en daarvoor zijn we een nieuw project gestart; het Digital Assessment Matched (DAM) project. 

Het belangrijkste doel van dit project is het opzetten van passende en opschaalbare ondersteuning  voor digitaal toetsen bij de FNWI. Er worden workflows ontwikkeld waarbij docenten, toetsdeskundigen, het tentamenbureau en andere belanghebbenden betrokken worden. Volg het DAM project en de ontwikkelingen rond Digitaal toetsen op Starfish. Bezoek Plaza Digitaal Assessement over de mogelijkheiden bij de UvA/FNWI en voor de ondersteuning. Bij vragen kun je ook direct contact opnemen met Natasa Brouwer (natasa.brouwer@uva.nl).

Digitaal toetsen betekent meestal niet (direct) een besparing van kosten of tijd van de docent maar kan wel een grote meerwaarde in het onderwijs hebben en een verbetering van onderwijslogistiek brengen. Bij de stap naar digitaal toetsen is daarom noodzakelijk om te kijken of een al goed werkende papieren toets zinvol is om te digitaliseren. Aan de andere kant kunnen met digitaal toetsen diverse (onderwijs)problemen aangepakt worden en kunnen zowel de kwaliteit als de efficiëntie van het onderwijs vergroot worden. Bijvoorbeeld:

  • digitaal toetsen sluit beter aan bij de vakken waar veel met computers wordt gewerkt (blended learning)
  • het nakijken van tentamens kan sneller (geen handschrift meer bij open vragen, toetsen met gesloten vragen worden volautomatisch nagekeken)
  • geen papier, kopiëren, scannen en archiveren van grote stapels van papieren tentamens is nodig
  • digitaal toetsen kan flexibeler zijn met tijd en ruimte (bijvoorbeeld bij de inzet van proctoring (surveillance op afstand))
  • digitaal toetsen kan het zelfstandig leren van elke student in een grote groep studenten ondersteunen (formatief toetsen). De studenten kunnen automatisch feedback krijgen bij zelfstandig leren en zelfstandig hun kennishiaten kunnen diagnosticeren.

Digitale tentamens op afstand met proctoring

Eind juli 2014 is bij de FNWI bij de Pre-master Information Studies een pilot gedaan met proctoren. Het “Online Proctoren” is een relatief nieuw opkomend concept van het afnemen van tentamens op afstand dat tot nu toe vooral terrein heeft gewonnen in het onderwijs in de Verenigde Staten. Proctoring wordt onder andere gebruikt in MOOCs voor certificering. Er zijn verschillende methodes van proctoring bekend. Aanbieders van online proctor-diensten zijn veelal Amerikaans of gebruiken Amerikaanse software. Dit is een nieuw gebied waardoor de privacy en juridische aspecten nog niet specifiek zijn vastgelegd waarbij de wetgeving in de EU en VS sterk van elkaar verschillen.

Online Pre-master programma
Het online programma Pre-master Information Studies dat in 2012 van start is gegaan geeft toekomstige studenten de mogelijkheid om hun deficiënties weg te werken en vervolgens in te stromen in de eenjarige Master Information Studies.
Als doelgroep van deze online Pre-master waren ten eerste Nederlandse HBO-ers verwacht en studenten uit de omringende landen. Het tentamen was op de locatie bij de FNWI gepland. Al bij de eerste aflevering hebben zich ook drie deelnemers uit verre landen aangemeld waardoor het aanbieden van een tentamen op afstand noodzakelijk werd. De fysieke aanwezigheid op het tentamen van twee uurtjes zou voor die drie deelnemers heel duur en naar verhouding erg tijdrovend zijn. Voor die drie studenten is toen een online tentamen georganiseerd waarbij video en audio contact met hen werd gelegd en hun computerscherm werd gedeeld met een docent die aanwezig was tijdens het hele tentamen. Een tijdrovende operatie om alles goed voor te bereiden en bij zo een kleine aantal qua logistiek nog net uitvoerbaar.
De deelnemers waren met het pre-master programma heel tevreden. Bij de volgende afleveringen van de modules was de aanmelding uit buitenland alleen nog groter. Uit de resultaten van de master bleek geen significant verschil te zijn in het studiesucces tussen de studenten die via de pre-master instroomden en de reguliere instroom studenten. Dat was een goede motivatie om dit online Pre-master programma voort te zetten en actief naar oplossingen te gaan zoeken voor de digitale tentamens op afstand.

Proctor Exam
In november 2013 verscheen een bericht op SURFspace van Proctor Exam (toen nog Proctor2me genoemd), een Nederlandse Startup. Een van de redenen om dit bedrijf in het leven te roepen was juist het privacy probleem dat speelt met het gebruik maken van een Amerikaanse dienst. Proctor Exam werkte met eigen software. De persoonlijke data en de video’s van de examens worden opgeslagen in Nederland.
De innovatieve aanpak van proctoring, de openheid voor maatwerk en de flexibele houding waren de redenen dat een samenwerking is gestart tussen het Pre-master programma Information Studies en Proctor Exam. De ondersteuning is gegeven door ICTO-FNWI. Dit heeft in juli 2014 geleid tot een succesvolle pilot met proctor tentamens.
Proctor Exam heeft een volledig web-based platform waarbij studenten geen programma’s op hun computer hoeProctorExamInBeeldven te downloaden. Proctor Exam maakt gebruik van vier basis elementen: 360° audio en visuele surveillance, ScreenSharing technologie, live examen toezicht en video opnames (figuur 1).

Pilot Digitale tentamen met de proctor
Bij een online module past een online tentamen. Eind juli 2014 bij de derde termijn voor Pre-master tentamens in dat academisch jaar werd besloten om alle deelnemers de gelegenheid te geven om het tentamen op afstand te doen mits hun apparatuur aan de technische eisen van het proctor tentamen voldoet. De deelnemers konden uit privacy redenen het tentamen op afstand weigeren en op locatie bij de FNWI dit komen afleggen. Alle deelnemers werd gevraagd om een apparatuur check te doen. De deelnemers die niet door de apparatuur check zijn gekomen of geen apparatuur check wilden doen konden niet aan het tentamen op afstand met een proctor beginnen. Om extra stress bij het tentamen te voorkomen moesten de toegelaten deelnemers eerst nog een dummy tentamen doen. Het dummy tentamen was precies gelijk aan echt proctor tentamen behalve dat er geen vragen over het vak zijn gesteld maar één open vraag: “Wat vond je van het proctor tentamen?”
Meer dan 60 pre-master studenten hebben uiteindelijk een of meer proctor tentamens op afstand gedaan. 8 studenten kwamen naar het Science park en hebben het tentamen onder de toezicht van een surveillant in een computerzaal gedaan.

Resultaten

figuur2De pilot is technisch gezien goed gegaan. Alle deelnemers hebben direct na het tentamen een enquête ingevuld (ook als ze op locatie het tentamen hebben afgelegd). Uit de enquête bleek dat de grote meerderheid tevreden tot zeer tevreden was met de proctor (figuur 2).

Visuele en audio toezicht tijdens een online examen werd door 69% van de studenten als prettig ervaren (figuur 3). 34% van de studenten  waren positief gestemd over de privacy regelementen van ProctorExam en 20% waren daar niet tevreden over (figuur 4).

figuur3a figuur3b

De pilot in juli heeft de technische aspecten van een proctor exam goed getest. Op basis van die ervaring heeft Proctor Exam zijn software en look and feel op het platform nog verbeterd. Voor de Pre-master is er een workflow gemaakt voor het proctor tentamen.

We hebben veel geleerd uit de pilot maar er moet nog meer inspanning komen voordat het tentamineren op afstand met proctoring een standaard procedure kan worden. Er zijn nog juridische en privacy gerelateerde vragen die opgelost moeten worden op dit nieuwe gebied. Bijvoorbeeld over hoe lang moeten/mogen de video’s van de tentamens bewaard worden. Of wat zijn precies de consequenties van een ongewenst gedrag bij het tentamen voor een student of wat zijn de regels bij het uitvallen van de internet verbinding. Proctor Exam en Pre-master programma met de ondersteuning van ICTO-FNWI zullen in de komende periode daarom nog een aantal pilots samen uitvoeren, de workflow optimaliseren en al deze vragen proberen te beantwoorden zodat het tentamineren met proctoring als een standaard procedure ingevoerd zou kunnen worden bij de Pre-master Information Studies en daarna misschien ook bij andere pre-master programma’s of zelfs in regulier onderwijs.

Op 14 november wordt een bijeenkomst georganiseerd waar een demonstratie van een proctor tentamen wordt gegeven. Als gast zal Meta Keijzer van de TU Delft een presentatie geven over de aanpak die over het digitaal toetsen op afstand bij de TU Delft hierover is gekozen.
Zie meer over deze bijeenkomst en voor de aanmelding op Starfish:
http://starfish.innovatievooronderwijs.nl/event/424/

Bijdrage: Natasa Brouwer en Daniel Haven (Proctor Exam)