LA project “COACH” goed op weg

In het project COACH is een student dashboard ontwikkeld wat studenten tijdens de cursus continu persoonlijke feedback geeft over hun leergedrag over de verschillende leeromgevingen heen en hen motiveert om actiever te studeren. Ook geeft het dashboard aanbevelingen voor oefeningen en uitlegfilmpjes. De groep is opgesplitst om met een A/B test te onderzoeken of het dashboard tot actiever studeren leidt. Op dit moment is het vak lopend.

De ruim driehonderd eerstejaarsstudenten Biologie en Biomedische wetenschappen krijgen wiskunde geïntegreerd bij een discipline vak. De verschillen tussen studenten in wiskundige vooropleiding en beheersingsniveau van wiskundige kennis en vaardigheden zijn groot. Studenten uit deze heterogene groep krijgen online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau. Uit vooronderzoek is gebleken dat menig student te laat aan het studeren begint en te weinig of niet efficiënt oefent. De studenten hebben dit jaar buiten de website van de docent beschikking tot de leeromgevingen iktel.nl (Voorheen Khan Academie) en SOWISO om de stof mee te oefenen. Beide leeromgevingen bieden eigen dashboards aan waar een student kan reflecteren op zijn of haar voortgang. De feedback die beide leeromgevingen kunnen bieden blijft echter beperkt tot wat er binnen de tool gebeurd.

Data Diagram

In het project COACH (Constructive Overview Aggregating Comparative Hits) wordt de leerdata uit beide leeromgevingen via de Experience API (voorheen TinCanAPI) standaard verzameld in een centrale opslag (Learning Record Store). Buiten de dashboards die al in de leeromgevingen aanwezig waren is er een overkoepelend dashboard ontwikkeld wat op basis van de verzamelde data een overzicht geeft van wat een student in alle systemen gedaan heeft en hoe de student er voor staat ten op zichte van medestudenten. Dit overkoepelende dashboard is vervolgens geïntegreerd in de cursus website van de docent. Daarnaast is er een recommender systeem ontwikkeld wat geïntegreerd is met het toetsenoverzicht aan het eind van elk hoofdstuk op de cursus website. Dit recommender systeem geeft studenten aanbevelingen voor oefen- en uitlegmateriaal ter voorbereiding voor een van de specifieke toetsen van dat hoofdstuk op basis van het gebruik van lesmateriaal door mede-studenten die de toets al hebben gehaald. Er zijn per hoofdstuk meerdere kleine digitale toetsen die allemaal met minimaal een 8 moeten worden gehaald. De vragen zijn gerandomiseerd wat betekent dat elke keer automatisch een andere test met gelijkwaardige vragen voor de student wordt gegenereerd. Een student mag de toets zo net zo lang opnieuw maken totdat de toets gehaald is.  De toetsen en het lesmateriaal zijn voor alle studenten hetzelfde. Het COACH dashboard wordt echter maar aan de helft van de groep getoond. Op die manier hoopt het projectteam te kunnen onderzoeken of er een duidelijk verschil is tussen studenten met en studenten zonder een dergelijk overkoepelend dashboard. Er wordt dan met name gekeken naar hoe actief de studenten studeren en of ze meer op tijd beginnen.

COACH Dashboard

Op dit moment is het vak waarin het dashboard toegepast wordt aan het lopen. Alle software onderdelen zijn afgerond en kunnen door de studenten worden gebruikt. Er zijn echter in de aanloop naar dit moment een aantal onvoorziende omstandigheden aan het licht gekomen die gaandeweg opgelost zijn. Kort samengevat hadden deze uitdagingen voornamelijk te maken met een uniforme identificatie van studenten in alle systemen en de schaalbaarheid van de gekozen Leaning Record Store software. Deze ervaringen zullen in nog in een aparte whitepaper worden gedeeld met de gemeenschap.

Over een maand zal het vak afgelopen zijn en kan de data worden geanalyseerd. Een positief resultaat zou betekenen dat het mogelijk is om actief studeren te stimuleren met behulp van een additioneel dashboard wat zelf verder geen kennis bevat over de bestaande materialen en wat beperkte eisen stelt aan ondersteunde leeromgevingen. Deze eigenschappen zouden het veel makkelijker maken om het dashboard ook in andere situaties in te zetten.

Bij dit project zijn vanuit de ICTO-FNWI Programmaraad Andre Heck, Natasa Brouwer en Sander Latour betrokken.

Tentamenlade2.5

ICTO-FNWI heeft een SURF project gehonoreerd gekregen waarmee de applicatie Tentamenlade landelijk  toegankelijk  wordt gemaakt voor een groeiende groep docenten. Daarnaast worden ook enkele nieuwe functionaliteiten toegevoegd. In het project Tentamenlade2.5 worden in samenwerking met drie andere universiteiten (VU, UU en Universiteit Leiden) die ook partners zijn in het ICAB netwerk en de leverancier SOWISO drie experimenten uitgevoerd waarmee de weg wordt geopend voor nog meer vakken en docenten die open vragen willen verzamelen en met elkaar willen delen.

De Tentamenlade was ontwikkeld door studenten in het projectgedeelte van het vak Webprogrammeren en Databases (zie een van onze vorige blogs) onder coördinatie van Rob Belleman. Deze mooie ontwikkeling wordt met behulp van het SURF project  Tentamenlade2.5 ondergebracht bij SOWISO. De applicatie wordt op enkele punten verbeterd en robuuster gemaakt en komt ook landelijk beschikbaar.

De Tentamenlade2.5 opent een weg van de dagelijkse praktijk van het tentamineren met open vragen op papier door één individuele docent naar digitale (formatieve) assessment in een samenwerkende groep docenten door

  1. samenwerken in het toetsontwikkelingsproces te faciliteren,
  2. samenstellen van toetsen met open vragen te versnellen en te vergemakkelijken (tijdwinst voor docenten),
  3. inzicht te geven in het didactisch gebruik van het toetsmateriaal door o.a. analytics tools te gebruiken.

schemaT1Schema: Flowchart Tentamenlade2.5

Met meer inzicht in didactische scenario’s kan Tentamelade2.5 op lange termijn zo de kwaliteit van toetsen bij een vak en op een instelling structureel verbeteren.

Project
Het project Tentamenlade2.5 is gehonoreerd in het kader van SURF Stimuleringsregeling Gezamenlijk gebruik van Toetssoftware 2013. Het is een samenwerking van vier universiteiten: UvA, VU en de Universiteiten van Utrecht en Leiden. De UvA is de penvoerder. Bij het project zijn docenten van Biologie, Scheikunde en Natuurkunde betrokken, te beginnen met prof.dr. Eric Laenen, prof.dr. Jan de Boer, dr. Piet Mulders, dr. Marcel Vreeswijk en dr. Tanneke den Blaauwen.  De projectleider van Tentamenlade2.5 is dr. Natasa Brouwer. Bij het project zijn van de FNWI verder betrokken drs. Monique Diks, dr. André Heck, Sander Latour en nog minimaal twee studentassistenten. De subsidie is 15.000 euro.

Waarom SOWISO?
De SOWISO cloud-service is reeds beproefd in andere commerciële toepassingen in het hoger onderwijs. SOWISO is een spin off van TU Eindhoven en is gespecialiseerd in het toetsen in wiskunde en natuurwetenschappen en beschikt over state of the art kennis op dit gebied. Door de Tentamenlade dienst aan SOWISO op te dragen, worden de problemen van continuïteit in onderhoud landelijk opgelost. Bovendien wordt SOWISO breder gebruikt voor digitaal toetsen bij de FNWI waarvoor de ontwikkelingen worden gedaan in het project TWIST. Een goede samenwerking met SOWISO heeft zich bij de UvA tot nu toe al bewezen in diverse projecten waar digitaal toetsen centraal stond.

_____________

De uitslag
Tentamenlade2.5 (UvA, VU, UU, en UL) en TWIST (TU/e, UM, UvA en Fontys Hogescholen) zijn als twee beste projectvoorstellen geëindigd in de tender ‘Gezamenlijk gebruik van toetssoftware in de cloud’. Bei beide projecten is SOWISO de leverancier. SURF adviseert om naar de mogelijkheden van samenwerking van de twee projecten te zoeken en hiermee nog een meerwaarde te creëren. Dat advies nemen we graag mee want dat hadden we zelf ook al gewild maar niet in het projectvoorstel konden zetten.
Zie meer bij SURF: http://www.surf.nl/nl/actueel/Pages/Instellingenexperimenterenmettoetssoftwareindecloud.aspx


[1] SOWISO, http://www.sowiso.nl (Laatst bezocht 12-07-2013)

Bijdrage: Natasa Brouwer

Learning Analytics project “COACH” toegekend

SURF (ICT-samenwerkingsorganisatie van het hoger onderwijs en onderzoek) heeft aan ICTO-FNWI een project toegekend om Learning Analyitics in het onderwijs toe te passen. In dit project wordt een student dashboard COACH ontwikkeld voor de eerstejaarsstudenten Biologie en Biomedische wetenschappen bij een wiskunde onderdeel in de studie. De studenten zullen zo hun studiegedrag ten opzichte van hun medestudenten continu kunnen monitoren en feedback erop krijgen. Bovenal zal dit project kennis opleveren over het effect van het gebruik van een student dashboard op het leergedrag van studenten bij een vak en hiermee op het studiesucces bij het gevolgde vak.

De eerstejaarsstudenten Biologie en Biomedische wetenschappen krijgen wiskunde geïntegreerd bij een discipline vak. De verschillen tussen studenten in wiskundige vooropleiding en beheersingsniveau van wiskundige kennis en vaardigheden zijn groot. Studenten uit deze heterogene groep krijgen online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau. Uit vooronderzoek is gebleken dat menig student te laat aan het studeren begint en te weinig of niet efficiënt oefent. In het SURF project COACH (Constructive Overview Aggregating Comparative Hits) dat begin juli 2013 van start gaat en een jaar zal lopen wordt een student dashboard ontwikkeld die studenten tijdens de cursus continu persoonlijke feedback zal geven over hun leergedrag in diverse leeromgevingen en hen motiveren om het leren te activeren. De data wordt geanalyseerd om te bepalen of de intensiteit van het gebruik van digitaal leer- en oefenmateriaal door het ter beschikking stellen van een overkoepelend dashboard COACH verandert. De studenten zouden zo tot meer actief studiegedrag kunnen komen en hierdoor tot een groter studiesucces.

De data over het gebruik van online wiskunde leer- en oefenmateriaal wordt continu verzameld in een learning record store. Een learning analytics cyclus is gepresenteerd op het schema.

LAcyclusHet project COACH met de subsidie van SURF van 10.000 euro wordt geleid door dr. André Heck (Korteweg- de Vries Instituut). Verder zijn van de FNWI bij dit project betrokken nog dr. Natasa Brouwer (ESC), Sander Latour en enkele informatiewetenschappen studenten die het COACH dashboard zullen ontwikkelen. Het project wordt technisch ondersteunt door Alan Berg van het UvA IC en twee e-learning startups, Perceptum (Khan Academie) en SOWISO, dragen bij door het beschikbaar stellen van hun data.

diag1Learning analytics is een van de speerpunten van de UvA en een van de kernthema’s die bij de FNWI deel uitmaken van een meerjarenplan over ICT en onderwijsinnovatie. Bij de UvA is in juni 2013 een stimulering regeling UvAInform van start gegaan om Learning Analytics bij de faculteiten te bevorderen. De UvA Focus groep Learning Analytics die recent is opgericht zal dit in goede banen leiden.

Bijdrage: Natasa Brouwer en Sander Latour