Uplift studentenondersteuning bij Wintec dankzij Machine Learning
Om een betere targeting van risicostudenten mogelijk te maken en tegelijkertijd doorlopend statistisch bewijs te leveren van de effectiviteit van de studentenservices, heeft HSO een machine learning-model ontwikkeld.
Het Waikato Institute of Technology (Wintec), gevestigd in Hamilton (Nieuw-Zeeland), biedt jaarlijks hoogwaardig onderwijs aan ongeveer 13.000 ākonga/leerlingen die meer dan 130 beroepsopleidingen volgen op verschillende niveaus, van certificaten tot diploma’s, postdoctoraal en masteropleidingen. Wintec biedt tal van zorg- en academische ondersteuningsdiensten aan studenten. Deze ondersteuning was traditioneel inconsistent, en het meten van het succes was afhankelijk van anekdotisch bewijs.
Om een betere targeting van risicostudenten mogelijk te maken en tegelijkertijd doorlopend statistisch bewijs te leveren van de effectiviteit van de studentenservices, werd een machine learning-model ontwikkeld. Een wetenschappelijke studie werd ontworpen en ingepland, maar door onverwachte wijzigingen in de bedrijfsstrategie van de ondersteuning stelde Aware Group (een HSO-bedrijf) de proef uit om te voorkomen dat er kapitaal werd verbruikt, terwijl de integriteit van de verkregen resultaten niet geëvalueerd kon worden. Het model werd herbestemd om de meest risicovolle pre-degree programma’s en studentenpopulaties te identificeren; een functie die voorheen werd uitgevoerd door middel van basale numerieke analyses van de resultaten van voorgaande jaren.
Uitdagingen
De bestaande ondersteuningsstructuur bij Wintec vertoonde inefficiënties en was sterk afhankelijk van de observaties van docenten en ondersteunend personeel om te signaleren wanneer studenten mogelijk in de problemen zitten.
Enkele van de problemen met het bestaande systeem waren:
- Reactiviteit – Veel van de ondersteuningsstructuur vereist dat de student zelf vroegtijdig aangeeft dat hij of zij in de problemen zit, zodat de interventie effectief kan zijn.
- Individuele tijd met studenten – Zonder gerichte targeting van risicostudenten is deze tijd duur en inefficiënt.
- Algemene ondersteuning voor studenten – Groepsactiviteiten zoals workshops bereiken veel studenten die niet in gevaar zijn, in de hoop een paar studenten te ondersteunen die dat wel zijn.
Daarnaast is het, door het gebrek aan inzicht in de effectiviteit, moeilijk geweest om het juiste niveau van ondersteuning effectief te bepalen.
Voordelen van het product
Het ontwikkelde model zou het ondersteunend personeel voorzien van een database met specifieke studenten om contact mee op te nemen, samen met een indicatie van de impact die ze kunnen maken en evalueerbare resultaten van de effectiviteit van hun interventies. Nadat het werd geëvalueerd als onderdeel van de wetenschappelijke proef, zou dit management in staat stellen te beoordelen hoeveel personeel er nodig is. Verbeterde diensten zouden ook leiden tot een betere pariteit in de afrondingspercentages van Maori/Pacifica studenten.
Het hergebruik van het model, ontworpen om de basale numerieke analyse voor risicostudenten en -programma's te vervangen, biedt de ondersteuningsteams focus over welke groepen ze moeten voorzien van personeel en stelt hen in staat zich te concentreren op de groepen die de meeste behoefte hebben. Hoewel het niet direct de verwachte verbetering voorspelt, kunnen ze dankzij het model beter gebruik maken van de beschikbare middelen en gericht hulp bieden aan individuen.
Resultaten, ROI en toekomstige plannen
De verwachte resultaten van de studie waren:
- Bewijs van verbeterde slagingspercentages en pariteit voor Maori/Pacifica studenten.
- Besluitvorming op basis van statistieken over middelen en strategie voor de ondersteuningsdiensten.
- Verbeterde retentie (gemeten het volgende jaar).
Vanwege de veranderingen in de ondersteuningsstructuur konden deze voordelen niet worden gerealiseerd op het moment van implementeren. Hoewel de ondersteuningsteams nu een statistische basis gebruiken om risicogroepen te targeten, kon de effectiviteit hiervan nog niet op een statistisch verantwoorde manier worden geëvalueerd.
Onverwachte voordelen werden gerealiseerd als onderdeel van het project:
- Identificatie van de meest effectieve contactmethoden voor het verbeteren van de studentenresultaten.
- Bewijs van verbeterde studentenresultaten voor de contactteams van studenten.
- Erkenning en kwantificering van risicogroepen (bijv. vrouwelijke pre-degree studenten van 18 jaar).
- Identificatie van een "snijpunt" van 5-6 weken voor de meeste cursussen met een semesterduur, waarna de effectiviteit van studentenondersteuningsdiensten afneemt.