LA project “COACH” goed op weg

In het project COACH is een student dashboard ontwikkeld wat studenten tijdens de cursus continu persoonlijke feedback geeft over hun leergedrag over de verschillende leeromgevingen heen en hen motiveert om actiever te studeren. Ook geeft het dashboard aanbevelingen voor oefeningen en uitlegfilmpjes. De groep is opgesplitst om met een A/B test te onderzoeken of het dashboard tot actiever studeren leidt. Op dit moment is het vak lopend.

De ruim driehonderd eerstejaarsstudenten Biologie en Biomedische wetenschappen krijgen wiskunde geïntegreerd bij een discipline vak. De verschillen tussen studenten in wiskundige vooropleiding en beheersingsniveau van wiskundige kennis en vaardigheden zijn groot. Studenten uit deze heterogene groep krijgen online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau. Uit vooronderzoek is gebleken dat menig student te laat aan het studeren begint en te weinig of niet efficiënt oefent. De studenten hebben dit jaar buiten de website van de docent beschikking tot de leeromgevingen iktel.nl (Voorheen Khan Academie) en SOWISO om de stof mee te oefenen. Beide leeromgevingen bieden eigen dashboards aan waar een student kan reflecteren op zijn of haar voortgang. De feedback die beide leeromgevingen kunnen bieden blijft echter beperkt tot wat er binnen de tool gebeurd.

Data Diagram

In het project COACH (Constructive Overview Aggregating Comparative Hits) wordt de leerdata uit beide leeromgevingen via de Experience API (voorheen TinCanAPI) standaard verzameld in een centrale opslag (Learning Record Store). Buiten de dashboards die al in de leeromgevingen aanwezig waren is er een overkoepelend dashboard ontwikkeld wat op basis van de verzamelde data een overzicht geeft van wat een student in alle systemen gedaan heeft en hoe de student er voor staat ten op zichte van medestudenten. Dit overkoepelende dashboard is vervolgens geïntegreerd in de cursus website van de docent. Daarnaast is er een recommender systeem ontwikkeld wat geïntegreerd is met het toetsenoverzicht aan het eind van elk hoofdstuk op de cursus website. Dit recommender systeem geeft studenten aanbevelingen voor oefen- en uitlegmateriaal ter voorbereiding voor een van de specifieke toetsen van dat hoofdstuk op basis van het gebruik van lesmateriaal door mede-studenten die de toets al hebben gehaald. Er zijn per hoofdstuk meerdere kleine digitale toetsen die allemaal met minimaal een 8 moeten worden gehaald. De vragen zijn gerandomiseerd wat betekent dat elke keer automatisch een andere test met gelijkwaardige vragen voor de student wordt gegenereerd. Een student mag de toets zo net zo lang opnieuw maken totdat de toets gehaald is.  De toetsen en het lesmateriaal zijn voor alle studenten hetzelfde. Het COACH dashboard wordt echter maar aan de helft van de groep getoond. Op die manier hoopt het projectteam te kunnen onderzoeken of er een duidelijk verschil is tussen studenten met en studenten zonder een dergelijk overkoepelend dashboard. Er wordt dan met name gekeken naar hoe actief de studenten studeren en of ze meer op tijd beginnen.

COACH Dashboard

Op dit moment is het vak waarin het dashboard toegepast wordt aan het lopen. Alle software onderdelen zijn afgerond en kunnen door de studenten worden gebruikt. Er zijn echter in de aanloop naar dit moment een aantal onvoorziende omstandigheden aan het licht gekomen die gaandeweg opgelost zijn. Kort samengevat hadden deze uitdagingen voornamelijk te maken met een uniforme identificatie van studenten in alle systemen en de schaalbaarheid van de gekozen Leaning Record Store software. Deze ervaringen zullen in nog in een aparte whitepaper worden gedeeld met de gemeenschap.

Over een maand zal het vak afgelopen zijn en kan de data worden geanalyseerd. Een positief resultaat zou betekenen dat het mogelijk is om actief studeren te stimuleren met behulp van een additioneel dashboard wat zelf verder geen kennis bevat over de bestaande materialen en wat beperkte eisen stelt aan ondersteunde leeromgevingen. Deze eigenschappen zouden het veel makkelijker maken om het dashboard ook in andere situaties in te zetten.

Bij dit project zijn vanuit de ICTO-FNWI Programmaraad Andre Heck, Natasa Brouwer en Sander Latour betrokken.

Advertenties

LASI-Amsterdam was een groot succes

Afgelopen 4 en 5 juli heeft het Learning Analytics Summer Institute plaats gevonden op het Science Park. Aanwezig waren zo’n vijftig docenten, studenten, onderzoekers, beleidsmakers en leveranciers die twee dagen lang met elkaar over belangrijke thema’s binnen de Learning Analytics hebben gesproken. Er kwam onder andere aan bod hoe je Learning Analytics op zou moeten nemen in je lesontwerp, wie eigenlijk besluit wat er met onderwijsdata mag gebeuren en wat voor technieken je zou kunnen toepassen op onderwijsdata. Gedurende het evenement was er een open en constructieve sfeer waar er zowel optimisch als kritisch werd gekeken naar de ontwikkelingen op dit vlak.

Learning Analytics is een methodiek waar je data verzamelt van het onderwijsproces, dat vervolgens analyseerd en de resultaten gebruikt om de student of de onderwijsomgeving te verbeteren. Het is een gebied waar een groot aantal expertises bij elkaar moeten komen, niet in de laatste plaats die van data mining en onderwijskunde. Omdat het nog een relatief nieuw gebied is die kennis vaak niet overal goed beschikbaar en zijn de verschillende belanghebbenden soms nog los van elkaar bezig. Het Learning Analytics Summer Institute (LASI) was in het leven geroepen om de verschillende expertises en perspectieven bij elkaar aan tafel te zetten, zodat in de toekomst er gezamelijk stappen gezet kunnen worden. Dit was een initiatief van SoLAR en Stanford University en uiteindelijk hebben negen andere locaties over de hele wereld dat voorbeeld gevolgd en in dezelfde week hun versie van LASI georganiseerd. Het evenement op het Science Park, LASI-Amsterdam, behoorde samen met LASI-Stanford, LASI-Pretoria en LASI-HongKong tot de grotere evenementen.

LASI2
Foto: Jeroen Donkers (UM), dag 1

LASI3
Foto: Groupsdisussie, belangrijk onderdeel van LASI-Amsterdam

LASI4
Foto: Opening dag 2. De zaal is net zo vol als op de eerste dag.

Het resultaat van LASI-Amsterdam is in de eerste plaats een versterkte gemeenschap, er wordt naar mogelijkheden gezocht om een dergelijk contact minstens twee keer per jaar te herhalen. Daarnaast zijn de presentaties en sessie resultaten allemaal opgenomen en via de website beschikbaar, daar zijn ook de opdrachten en notities te vinden. Er zijn aan de hand van LASI-Amsterdam ook verscheidene blogposts geschreven, en er komen er nog meer aan. De meeste blogs zijn te vinden op de site van de special interest group voor Learning Analytics van SURF. Dergelijke resultaten zijn niet alleen van het Amsterdamse evenement te vinden, maar ook van de andere 9 locaties. De websites van die evenementen kunt u hier vinden.

Er wordt door zowel de participanten als de organisatie erg positief terug gekeken op het evenement en het lijkt er dan ook op dat het een aftrap is geweest voor nauwere samenwerking en uitwisseling, zowel nationaal als internationaal. Dat sluit ook aan bij het beleid van ICTO-FNWI en de UvA op dat gebied.

Links:

Bijdrage: Sander Latour (meer informatie: latour@uva.nl)

Foto’s: Natasa Brouwer

Learning Analytics project “COACH” toegekend

SURF (ICT-samenwerkingsorganisatie van het hoger onderwijs en onderzoek) heeft aan ICTO-FNWI een project toegekend om Learning Analyitics in het onderwijs toe te passen. In dit project wordt een student dashboard COACH ontwikkeld voor de eerstejaarsstudenten Biologie en Biomedische wetenschappen bij een wiskunde onderdeel in de studie. De studenten zullen zo hun studiegedrag ten opzichte van hun medestudenten continu kunnen monitoren en feedback erop krijgen. Bovenal zal dit project kennis opleveren over het effect van het gebruik van een student dashboard op het leergedrag van studenten bij een vak en hiermee op het studiesucces bij het gevolgde vak.

De eerstejaarsstudenten Biologie en Biomedische wetenschappen krijgen wiskunde geïntegreerd bij een discipline vak. De verschillen tussen studenten in wiskundige vooropleiding en beheersingsniveau van wiskundige kennis en vaardigheden zijn groot. Studenten uit deze heterogene groep krijgen online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau. Uit vooronderzoek is gebleken dat menig student te laat aan het studeren begint en te weinig of niet efficiënt oefent. In het SURF project COACH (Constructive Overview Aggregating Comparative Hits) dat begin juli 2013 van start gaat en een jaar zal lopen wordt een student dashboard ontwikkeld die studenten tijdens de cursus continu persoonlijke feedback zal geven over hun leergedrag in diverse leeromgevingen en hen motiveren om het leren te activeren. De data wordt geanalyseerd om te bepalen of de intensiteit van het gebruik van digitaal leer- en oefenmateriaal door het ter beschikking stellen van een overkoepelend dashboard COACH verandert. De studenten zouden zo tot meer actief studiegedrag kunnen komen en hierdoor tot een groter studiesucces.

De data over het gebruik van online wiskunde leer- en oefenmateriaal wordt continu verzameld in een learning record store. Een learning analytics cyclus is gepresenteerd op het schema.

LAcyclusHet project COACH met de subsidie van SURF van 10.000 euro wordt geleid door dr. André Heck (Korteweg- de Vries Instituut). Verder zijn van de FNWI bij dit project betrokken nog dr. Natasa Brouwer (ESC), Sander Latour en enkele informatiewetenschappen studenten die het COACH dashboard zullen ontwikkelen. Het project wordt technisch ondersteunt door Alan Berg van het UvA IC en twee e-learning startups, Perceptum (Khan Academie) en SOWISO, dragen bij door het beschikbaar stellen van hun data.

diag1Learning analytics is een van de speerpunten van de UvA en een van de kernthema’s die bij de FNWI deel uitmaken van een meerjarenplan over ICT en onderwijsinnovatie. Bij de UvA is in juni 2013 een stimulering regeling UvAInform van start gegaan om Learning Analytics bij de faculteiten te bevorderen. De UvA Focus groep Learning Analytics die recent is opgericht zal dit in goede banen leiden.

Bijdrage: Natasa Brouwer en Sander Latour

Learning Analytics Summer Institute

On the 4th and 5th of July the ICTO-FNWI hosts the Learning Analytics Summer Institute (LASI-Amsterdam) in collaboration with SURFacademy and the SURF SIG Learning Analytics. Feel welcome to join this event! During the two-days meeting four different themes that are important in the application of Learning Analytics on educational practice will be discussed: (1) Tracking the learning process, (2) Instructional Design, (3) Analytics, Metrics and Research, and (5) Moving the Community Forward.

The Learning Analytics is a rapidly upcoming field with a high potential for teaching and learning. Different forms of expertise and different perspectives on Learning Analytics still need to fully interact with each other in order to assure that the knowledge and desires of different stakeholders is spread throughout the community. LASI-Amsterdam tries to accelerate this process by bringing these together in a two-day meeting, a so called Summer Institute. The event is part of a global initiative and is connected to the Learning Analytics Summer Institute at Stanford University and to eight other locations in the world with a LASI-local event.

LASI1

During the two-day event LASI-Amsterdam you will discuss on four different themes

  • Tracking the learning process,
  • Instructional Design,
  • Analytics, Metrics and Research
  • Moving the community forward.

Why to participate?

By participating you can exchange your ideas about the role and perspective of Learning Analytics for education with different stakeholders and extend your own expertise in this field. There will also be ample opportunity to network and to meet potential partners to collaborate on projects with. By participating you can also directly contribute to the vision of the SURF SIG Learning Analytics and to the growth of the wider Learning Analytics community.

Who should participate?

Students, lecturers, researchers, suppliers, support staff, education managers and policy makers with an interest in Learning Analytics or related fields. You may want to first get some more knowledge on Learning Analytics. If so, please visit the seminar “Kennismaking Learning Analytics” (in Dutch) on the 27th of June as an  introduction to the LASI-Amsterdam Summer Institute .

Where to register?

Free registration can be found on http://lasiamsterdam.wordpress.com/register/

More information about LASI-Amsterdam

http://lasiamsterdam.wordpress.com

Flyer_LASI-Amsterdam

Blog contribution: Sander Latour

FNWI in SIG Learning Analytics

Learning Analytics is een term die zowel in de FNWI gangen als bij SURF steeds vaker terug komt. In het kort gaat Learning Analytics over het verzamelen van onderwijs data tijdens het leerproces om dat vervolgens te gebruiken om het leerproces te verbeteren. Dat kan betekenen dat je bijvoorbeeld sneller docenten kan wijzen op risico studenten, studenten inzicht kan geven in hun eigen voortgang, of studenten wijst op leermiddelen die voor hun persoonlijk geschikt zijn.
SURF heeft afgelopen donderdag een nieuwe stap gezet in de ontwikkeling van Learning Analytics met de oprichting van een Special Interest Group (SIG) voor het onderwerp. De SIG bestaat uit experts en belangstellenden, voornamelijk uit het hoger onderwijs,  die gezamenlijk een nationaal kennisgemeenschap rondom Learning Analytics vormen. Een dergelijke groep heeft niet alleen invloed bij SURF, maar kan ook een impuls geven aan de ontwikkelingen in de gemeenschap. De SIG heeft een kernteam wat sturing probeert te geven aan de concrete rol die de SIG daarin speelt. In het kern team zitten o.a. twee leden vanuit de UvA, waaronder Sander Latour vanuit de Learning Analytics wordt door de ICTO-FWNI Programmaraad gezien als een belangrijk thema en zal worden opgenomen in het meerjarenplan ICT en onderwijsinnovatie. Voor het FNWI is deelname aan de SIG een vervolg op haar activiteit in het verkenningsproces van SURF wat resulteerde in deze SIG. Van maart tot oktober 2012 liepen 7 landelijke SURF projecten waaronder “User needs docent en student bij de inzet van learning analytics” dat de FNWI samen met de VU heeft uitgevoerd.
Nu het kernteam gestart is zal het zich richten op het opstellen van een jaarplan op basis van de input die de SIG afgelopen donderdag heeft gegeven. Duidelijk naar voren kwamen o.a. het verlangen naar data standaardisatie, betere betrokkenheid van het onderwijskundige aspect, en informatie toegespitst op de stakeholder met een concrete en praktische insteek.
Daarnaast zal er op daarvoor aangewezen momenten aansluiting gezocht worden bij internationale ontwikkelingen. Zo zijn er in juli over de hele wereld parallelle evenementen rondom het onderwerp, waaronder ook in Nederland, wat hoogstwaarschijnlijk plaats zal vinden op het Science Park.
Kortom, het gebied Learning Analytics maakt nu in Nederland weer een stap richting volwassenheid. En de FNWI draagt samen met de rest van de UvA daar aan bij met haar expertise, en zorgt er tegelijkertijd voor dat het onderwijs en onderzoek dat waar mogelijk kunnen benutten.