Digitale tentamens op afstand met proctoring

Eind juli 2014 is bij de FNWI bij de Pre-master Information Studies een pilot gedaan met proctoren. Het “Online Proctoren” is een relatief nieuw opkomend concept van het afnemen van tentamens op afstand dat tot nu toe vooral terrein heeft gewonnen in het onderwijs in de Verenigde Staten. Proctoring wordt onder andere gebruikt in MOOCs voor certificering. Er zijn verschillende methodes van proctoring bekend. Aanbieders van online proctor-diensten zijn veelal Amerikaans of gebruiken Amerikaanse software. Dit is een nieuw gebied waardoor de privacy en juridische aspecten nog niet specifiek zijn vastgelegd waarbij de wetgeving in de EU en VS sterk van elkaar verschillen.

Online Pre-master programma
Het online programma Pre-master Information Studies dat in 2012 van start is gegaan geeft toekomstige studenten de mogelijkheid om hun deficiënties weg te werken en vervolgens in te stromen in de eenjarige Master Information Studies.
Als doelgroep van deze online Pre-master waren ten eerste Nederlandse HBO-ers verwacht en studenten uit de omringende landen. Het tentamen was op de locatie bij de FNWI gepland. Al bij de eerste aflevering hebben zich ook drie deelnemers uit verre landen aangemeld waardoor het aanbieden van een tentamen op afstand noodzakelijk werd. De fysieke aanwezigheid op het tentamen van twee uurtjes zou voor die drie deelnemers heel duur en naar verhouding erg tijdrovend zijn. Voor die drie studenten is toen een online tentamen georganiseerd waarbij video en audio contact met hen werd gelegd en hun computerscherm werd gedeeld met een docent die aanwezig was tijdens het hele tentamen. Een tijdrovende operatie om alles goed voor te bereiden en bij zo een kleine aantal qua logistiek nog net uitvoerbaar.
De deelnemers waren met het pre-master programma heel tevreden. Bij de volgende afleveringen van de modules was de aanmelding uit buitenland alleen nog groter. Uit de resultaten van de master bleek geen significant verschil te zijn in het studiesucces tussen de studenten die via de pre-master instroomden en de reguliere instroom studenten. Dat was een goede motivatie om dit online Pre-master programma voort te zetten en actief naar oplossingen te gaan zoeken voor de digitale tentamens op afstand.

Proctor Exam
In november 2013 verscheen een bericht op SURFspace van Proctor Exam (toen nog Proctor2me genoemd), een Nederlandse Startup. Een van de redenen om dit bedrijf in het leven te roepen was juist het privacy probleem dat speelt met het gebruik maken van een Amerikaanse dienst. Proctor Exam werkte met eigen software. De persoonlijke data en de video’s van de examens worden opgeslagen in Nederland.
De innovatieve aanpak van proctoring, de openheid voor maatwerk en de flexibele houding waren de redenen dat een samenwerking is gestart tussen het Pre-master programma Information Studies en Proctor Exam. De ondersteuning is gegeven door ICTO-FNWI. Dit heeft in juli 2014 geleid tot een succesvolle pilot met proctor tentamens.
Proctor Exam heeft een volledig web-based platform waarbij studenten geen programma’s op hun computer hoeProctorExamInBeeldven te downloaden. Proctor Exam maakt gebruik van vier basis elementen: 360° audio en visuele surveillance, ScreenSharing technologie, live examen toezicht en video opnames (figuur 1).

Pilot Digitale tentamen met de proctor
Bij een online module past een online tentamen. Eind juli 2014 bij de derde termijn voor Pre-master tentamens in dat academisch jaar werd besloten om alle deelnemers de gelegenheid te geven om het tentamen op afstand te doen mits hun apparatuur aan de technische eisen van het proctor tentamen voldoet. De deelnemers konden uit privacy redenen het tentamen op afstand weigeren en op locatie bij de FNWI dit komen afleggen. Alle deelnemers werd gevraagd om een apparatuur check te doen. De deelnemers die niet door de apparatuur check zijn gekomen of geen apparatuur check wilden doen konden niet aan het tentamen op afstand met een proctor beginnen. Om extra stress bij het tentamen te voorkomen moesten de toegelaten deelnemers eerst nog een dummy tentamen doen. Het dummy tentamen was precies gelijk aan echt proctor tentamen behalve dat er geen vragen over het vak zijn gesteld maar één open vraag: “Wat vond je van het proctor tentamen?”
Meer dan 60 pre-master studenten hebben uiteindelijk een of meer proctor tentamens op afstand gedaan. 8 studenten kwamen naar het Science park en hebben het tentamen onder de toezicht van een surveillant in een computerzaal gedaan.

Resultaten

figuur2De pilot is technisch gezien goed gegaan. Alle deelnemers hebben direct na het tentamen een enquête ingevuld (ook als ze op locatie het tentamen hebben afgelegd). Uit de enquête bleek dat de grote meerderheid tevreden tot zeer tevreden was met de proctor (figuur 2).

Visuele en audio toezicht tijdens een online examen werd door 69% van de studenten als prettig ervaren (figuur 3). 34% van de studenten  waren positief gestemd over de privacy regelementen van ProctorExam en 20% waren daar niet tevreden over (figuur 4).

figuur3a figuur3b

De pilot in juli heeft de technische aspecten van een proctor exam goed getest. Op basis van die ervaring heeft Proctor Exam zijn software en look and feel op het platform nog verbeterd. Voor de Pre-master is er een workflow gemaakt voor het proctor tentamen.

We hebben veel geleerd uit de pilot maar er moet nog meer inspanning komen voordat het tentamineren op afstand met proctoring een standaard procedure kan worden. Er zijn nog juridische en privacy gerelateerde vragen die opgelost moeten worden op dit nieuwe gebied. Bijvoorbeeld over hoe lang moeten/mogen de video’s van de tentamens bewaard worden. Of wat zijn precies de consequenties van een ongewenst gedrag bij het tentamen voor een student of wat zijn de regels bij het uitvallen van de internet verbinding. Proctor Exam en Pre-master programma met de ondersteuning van ICTO-FNWI zullen in de komende periode daarom nog een aantal pilots samen uitvoeren, de workflow optimaliseren en al deze vragen proberen te beantwoorden zodat het tentamineren met proctoring als een standaard procedure ingevoerd zou kunnen worden bij de Pre-master Information Studies en daarna misschien ook bij andere pre-master programma’s of zelfs in regulier onderwijs.

Op 14 november wordt een bijeenkomst georganiseerd waar een demonstratie van een proctor tentamen wordt gegeven. Als gast zal Meta Keijzer van de TU Delft een presentatie geven over de aanpak die over het digitaal toetsen op afstand bij de TU Delft hierover is gekozen.
Zie meer over deze bijeenkomst en voor de aanmelding op Starfish:
http://starfish.innovatievooronderwijs.nl/event/424/

Bijdrage: Natasa Brouwer en Daniel Haven (Proctor Exam)

Advertenties

Pre-master Information Studies nu regulier van start

Vanaf dit jaar biedt Graduate School of Informatics structureel een volledig online schakelprogramma van 5 modulen aan: Pre-master Information Studies. De ontwikkeling van de modules is mede mogelijk gemaakt door het UvA ICTOfonds project Online Schakelen. In het afgelopen jaar zijn tijdens het project Online schakelen 42 studenten uit verschillende landen ingestroomd naar de master.

Vele HBO studenten willen verder studeren op de universiteit en de Master Information Studies (MIS) is een aantrekkelijke keuze voor deze studenten. Deze master bestaat uit drie tracks met een eigen signatuur en studentpopulatie: Human Centered Multimedia (HCM), Business Information Studies (BIS) and Game Studies (GS). Door deficiënties kunnen HBO studenten en ook vele buitenlandse studenten die interesse voor deze opleiding hebben na hun bachelor niet direct instromen in deze master en moeten ze eerst een schakelprogramma afronden.
Hiervoor zijn nu vijf online pre-master modules ontwikkeld, twee voor de BIS track:
• Pre-master Data mining
• Pre-master Business studies
en twee voor de HCM track
• Pre-master ICT in organizations
• Pre-master Knowledge Web
De vijfde module Pre-master Academic skills is bedoeld voor alle drie tracks.

Oncover1twerp van modules
Ontwerpen van online modules en begeleiden van studenten op afstand vereisen specifieke kennis op het gebied van onderwijs met ICT. De betrokken docenten waren zeer ervaren docenten maar het volledig online onderwijs was een nieuw terrein. De ontwikkeling vond plaats in een team van docenten, student-assistenten en experts. De experts hebben aan het team op maat ondersteuning gegeven waardoor het ontwerpen van modules en professionaliseren tegelijkertijd plaats vonden (“on the job”).

De modules worden aangeboden in Blackboard en hebben allemaal een uniforme didactische aanpak van zelfstandig toetsgestuurd leren. Elke  module is onderverdeeld in 5 tot 7 “lessons”. Bij elke lesson worden de leerdoelen gecommuniceerd, is het onderwijsmateriaal te vinden en is aan het eind een kennistoets. De studenten moeten de kennistoets eerst goed maken voordat ze door mogen gaan naar de volgende lesson (sustained release). De studenten worden in elke online module begeleid door een moderator. Hij of zij motiveert en ondersteunt studenten bij het leren in de module. Elke week organiseert de moderator een online videoconferentie bijeenkomst (in WebEx).
Een voorbeeldsite waar van elke van de vijf modules één complete lesson uit te proberen is, is te vinden in Blackboard: Blackboard Pre-MIS. Om de site te bezoeken, gebruik: Pre-Masterinformationstudies / pre-MIS

Hieronder een rondleiding in de online programma bedoeld voor de komende studenten van de Pre-master

Ervaringen studenten
Op de video vertellen vier studenten die het Pre-master programma met succes hebben afgerond over hun ervaringen.

Begeleiders van de modules
De begeleiders van de modules zijn moderatoren. Dat zijn in principe studentassistenten (masterfase). Voor de moderatoren is op basis van de ervaringen van het project Online schakelen in 2013 in samenwerking tussen ICTO-FNWI en Centrum voor Nascholing Amsterdam (CNA) een online cursus voor moderatoren ontwikkeld: “Supervising students in distance learning”. Ook deze cursus draait in Blackboard. De eerste aflevering van deze praktisch gerichte cursus ging van start op 9 december 2013 en de moderatoren van de Pre-master modules die in december 2013 van start zijn gegaan konden er direct van profiteren. Het is de bedoeling dat vanaf februari 2014 deze cursus voor online moderatoren breed wordt aangeboden door CNA en hiermee ook regelmatig aan de nieuwe moderatoren van de Pre-master Information Studies. De deelnemers van de cursus krijgen van CNA een certificaat van deelname.

In september 2013 zijn 42 studenten die de Pre-master modules in het kader van het project Online schakelen met succes hebben afgerond ingestroomd in de Master Information Studies.

Contact persoon voor Pre-master Information Studies: Andrea Haker

Bijdrage: Natasa Brouwer