Het toetsweb
Het toetsweb vormt het theoretisch fundament onder de Toetsing Getoetst om de kwaliteit van toetsing te analyseren, verbeteren en borgen. Met deze methodiek vergroot je met je team de grip op duurzame kwaliteit!
In 2015 ontstonden de eerste contouren voor een methodiek om de kwaliteit van toetsing niet alleen te operationaliseren, maar ook te analyseren, te verbeteren en te borgen (Van Schilt-Mol & Sluijsmans, 2015): Toetsing Getoetst. Eind 2016 werd de eerste versie van het toetsweb gepresenteerd, dat de kern vormt van deze methodiek (Van Schilt-Mol et al, 2016). ‘Duurzaam werken aan kwaliteit’ stond daarbij in de kern van het toetsweb. Het web kan worden gezien als de doorontwikkeling van de toetspiramide (Joosten-ten Brinke, 2011; Joosten-ten Brinke & Sluijsmans, 2012) naar een ontwikkelings en kwaliteitszorginstrument (Van Schilt-Mol et al, 2020).
Het nieuwe toetsweb
In de meest actuele versie van het toetsweb is de tekst in de kern van het web (‘duurzaam werken aan kwaliteit’) vervangen door ‘visie op onderwijs’. Daardoor is de kern in plaats van een omschrijving van het doel van de methodiek an sich, veranderd in een toegevoegd inhoudelijk aspect van het toetsweb. Steeds meer wordt benadrukt dat toetsbekwaamheid onderdeel is van docentbekwaamheid (Van Schilt-Mol, et al, 2020) en dat onderwijs en toetsing juist onlosmakelijk met elkaar verbonden zijn (Biggs, 1996). Met behulp van de methodiek Toetsing Getoetst, gebaseerd op deze nieuwste versie van het web, is het mogelijk om op opleidingsniveau vanuit visie op onderwijs te kunnen toewerken naar meer grip op het analyseren, verbeteren en borgen van de (duurzame) kwaliteit van toetsing.
Kern van het web
Het toetsweb symboliseert de verwevenheid van de verschillende toetsentiteiten, en maakt visueel zichtbaar dat deze allemaal met elkaar verbonden zijn.
De manier waarop de toetsing wordt ingericht is een middel om de visie op onderwijs te realiseren, in plaats van een doel op zich (Baartman, Van Schilt-Mol & Van der Vleuten, 2020). De visie op toetsing, die onderdeel uitmaakt van de visie op onderwijs, vormt het fundament voor het borgen van de kwaliteit van de toetsing en zal er voor zorgen dat toetsing onderdeel wordt van het onderwijsconcept. Daarmee werkt deze visie versterkend op het realiseren van de onderwijsdoelen (VO-Raad, 2019). Dit veronderstelt uiteraard dat het hebben van een visie op onderwijs voorwaardelijk is om op een zinvolle wijze invulling te kunnen geven aan toetsing.
De kern van het toetsweb, visie op onderwijs, geeft antwoord op de vraag wat de opleiding verstaat onder goed onderwijs. De visie wordt gevormd wordt door ten minste;
- de legitimering van het onderwijs/de opleiding,
- een visie op het doel van het onderwijs/het beroep waartoe wordt opgeleid,
- een visie op de opdracht* van het onderwijs,
- een visie op leren en een visie op toetsen.
* Voor de opdracht van het onderwijs geldt dat, passend bij de uitgangspunten van eigentijds toetsen en beoordelen, de vormende (socialisatie en persoonsvorming) en de kwalificerende functie in onderling evenwicht de aandacht moeten krijgen (Hoogland, 2017).
Ontwikkelingsfasen
Opleidingen kunnen zich ontwikkelen op de kwaliteit van toetsing. Er worden vier ontwikkelingsfasen onderscheiden. In het web zijn deze ontwikkelingsfasen gesymboliseerd als knooppunten (1 t/m 4).
Om de ontwikkeling van de opleiding t.a.v. de kwaliteit van toetsing inzichtelijk te maken is inspiratie ontleend aan het Auditing Instrument for Sustainability in Higher Education (AISHE). AISHE (Brouwer & Boer, 2013; DHO, 2010) is gericht op het duurzaam werken aan ontwikkeling en het stimuleren van lange termijn denken: hoe komen we van de huidige situatie naar de gewenste situatie (Van Schilt-Mol, Peeters, Sluijsmans & Jakobs, 2015). Binnen AISHE worden vijf ontwikkelingsfasen onderscheiden, die in het toetsweb tot vier fasen zijn teruggebracht. Kenmerkende aspecten binnen deze fasen zijn een ontwikkeling in de wijze waarop actoren ingezet worden (van individuele acties naar acties waarbij alle relevante actoren betrokken zijn), een ontwikkeling in het langetermijndenken (van ad hoc naar een langetermijnstrategie) en een ontwikkeling in de integratie van processen en activiteiten in het onderwijsproces (van losstaande activiteiten naar activiteiten die bewust in samenhang worden uitgevoerd binnen lopende processen).
Individuele actoren (docenten/examinatoren, opleidingsmanagement, examencommissie, toetsexperts/toetscommissie, ondersteunende medewerkers) in de opleiding voeren ad hoc op onderdelen toetsactiviteiten uit waarbij geen aandacht is voor de onderlinge samenhang tussen deze activiteiten.
Relevante actoren (docenten/examinatoren, opleidingsmanagement, examencommissie, toetsexperts/toetscommissie, ondersteunende medewerkers) in de opleiding voeren vanuit een korte termijn perspectief procesmatig toetsactiviteiten uit die onderling samenhangen.
Alle relevante actoren (studenten, docenten/examinatoren, opleidingsmanagement, examencommissie, toetsexperts/toetscommissie, ondersteunende medewerkers) in de opleiding voeren gezamenlijk vanuit een middellange termijn perspectief volgens de PDCA-cyclus toetsactiviteiten uit die zijn geïntegreerd in lopende processen binnen de opleiding.
Alle relevante actoren binnen de opleiding (studenten, docenten/examinatoren, opleidingsmanagement, examencommissie, toetsexperts/toetscommissie, ondersteunende medewerkers) en in de keten (werkveld en externe deskundigen) voeren gezamenlijk vanuit een lange termijn perspectief volgens de PDCA-cyclus gezamenlijk toetsactiviteiten uit die zijn geïntegreerd in lopende processen binnen de opleiding en de keten.
Entiteiten
Het toetsweb bestaat uit vijf toetsentiteiten. Deze vijf entiteiten zijn verbonden met elkaar én met de kern van het web. Voor iedere ontwikkelingsfase (knooppunten in het web) is een korte omschrijving beschikbaar over hoe de toetsentiteit in die fase wordt ingevuld.
Het toetsweb bestaat uit vijf toetsentiteiten; toets(tak)en, toetsprogramma, toetsbeleid, toetsorganisatie en toetsbekwaamheid. Deze vijf entiteiten zijn verbonden met elkaar én met de kern van het web. Binnen iedere toetsentiteit kunnen drie elementen worden onderscheiden. Dit zijn de elementen kwaliteitscriteria, ontwerp en borging. Het eerste element, kwaliteitscriteria, gaat over de vraag welke informatie wordt gebruikt om de kwaliteit van de toetsentiteiten vast te stellen. Het tweede element, ontwerp, is gericht op de vraag hoe de ontwikkeling en inzet van de vijf toetsentiteiten tot stand komt. Het derde element, borging, richt zich op de wijze waarop de kwaliteitsborging van de toetsentiteiten wordt ingericht. Structurele aandacht voor deze drie elementen borgt dat er gewerkt wordt vanuit de PDCA-cyclus.
Onder toetsen worden (leer)activiteiten/meet-instrumenten verstaan die worden ingezet om na te gaan of de beoogde leerresultaten zijn bereikt (Joosten-ten Brinke & Draaier, 2015). Bij de kwaliteit van de toets in zijn geheel horen ook het ontwerp van de beoordelingsmodellen en student- en beoordelaarsinstructies. Onder toetstaken worden items of opdrachten binnen een toets verstaan waarmee studenten worden uitgedaagd hun kennis en vaardigheden te tonen (Draaier & Joosten-ten Brinke, 2015).
A1
Docenten ontwikkelen toetsen naar eigen inzicht: zij gebruiken eigen kwaliteitscriteria, ontwerpen de toets vaak alleen en kort voor de afname. De kwaliteit van de toetsen wordt uitsluitend geëvalueerd als daar aanleiding toe is.
A2
Docenten ontwikkelen toetsen aan de hand van een toetscyclus of ontwerpproces en maken daarbij gebruik van kwaliteitscriteria die zijn gebaseerd op ervaringen van ervaren toetsontwikkelaars. De toetsen, die worden ontwikkeld tijdens de onderwijsperiode, maken zij samen met collega’s. De kwaliteit van de toetsen wordt door de betrokken docenten regelmatig geëvalueerd. De opbrengsten daarvan worden niet vanzelfsprekend besproken met collega’s of studenten, maar wel gebruikt om eigen toetsen te verbeteren.
A3
De kwaliteitscriteria die docenten gebruiken bij het ontwikkelen toetsen worden met regelmaat bijgesteld op basis van nieuwe (wetenschappelijke) inzichten. De toetsen, die ontwikkeld worden voorafgaand aan het onderwijs, zijn passend voor de leerresultaten en sluiten aan bij eerder gegeven onderwijs. De kwaliteit van toetsen wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten hiervan worden besproken met relevante partners binnen de opleiding.
A4
Zowel kwaliteitscriteria voor de toetsen als de leer- en toetsdoelen zijn afgestemd met het werkveld. De toetsen sluiten hierdoor niet alleen aan bij het onderwijs dat de student volgt binnen de opleiding, maar ook op wat geleerd wordt op de werkplek. Toetsen worden structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten worden besproken met zowel de relevante partners binnen de opleiding als met het werkveld.
Met toetsbekwaamheid wordt in het toetsweb verwezen naar de deskundigheid die bij actoren binnen de opleiding aanwezig moet zijn om kwaliteit te realiseren op alle toetsentiteiten (Van Berkel, Sluijsmans & Joosten-ten Brinke, 2015). Specifiek voor de entiteit toetsen geldt dat de toetsbekwaamheid van docenten, examencommissies en andere betrokkenen van essentieel belang is: elke docent moet in staat zijn om toetsinformatie te interpreteren en te gebruiken om vast te stellen waar studenten staan en hoe deze informatie verder kan bijdragen aan het leren van de student (Straetmans, 2006).
E1
Binnen de opleiding zijn geen (concrete) afspraken gemaakt over de toetsbekwaamheid die van docenten wordt verwacht. De verantwoordelijkheid voor de ontwikkeling van toetsbekwaamheid ligt bij individuele docenten. Uitsluitend wanneer daar aanleiding toe is, wordt de toetsbekwaamheid van docenten geëvalueerd.
E2
De eisen die binnen de opleiding gesteld worden aan de toetsbekwaamheid zijn gebaseerd op ervaringen van ervaren toetsontwikkelaars. Voor alle medewerkers in de toetsorganisatie is vastgelegd over welke toetsbekwaamheid zij moeten beschikken. Om deze bekwaamheid te realiseren zijn concrete doelen geformuleerd. Zowel de stand van zaken t.a.v. de ontwikkeling van de toetsbekwaamheid als de kwaliteit van de toetsbekwaamheid worden met enige regelmaat geëvalueerd. De opbrengsten daarvan worden niet vanzelfsprekend besproken met alle collega’s of studenten, maar wel gebruikt om acties in te zetten om de toetsbekwaamheid te verhogen.
E3
De eisen die gesteld worden aan toetsbekwaamheid worden regelmatig bijgesteld op basis van (landelijke) kaders en actuele inzichten. De vereiste toetsbekwaamheid is niet alleen op individueel niveau, maar ook op teamniveau vastgesteld. Er wordt vanuit middellange termijndoelen doelgericht gewerkt aan het professionaliseren van medewerkers en teams. De kwaliteit van de toetsbekwaamheid wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten hiervan worden besproken met relevante partners binnen de opleiding en dienen als basis voor het opstellen van ontwikkelplannen.
E4
De landelijk afgesproken eisen ten aanzien van toetsbekwaamheid vormen de basis voor de professionalisering van medewerkers en teams. Ook voor de actoren uit het werkveld is vastgelegd over welke toetsbekwaamheid zij moeten beschikken. De kwaliteit van de toetsbekwaamheid van alle actoren in de toetsorganisatie wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria, de opbrengsten worden besproken met zowel de relevante partners binnen de opleiding als met het werkveld.
Met het toetsbeleid wordt het geheel aan vastgestelde afspraken, zowel inhoudelijk als procedureel, over toetsen en beoordelen bedoeld (Bruijns & Kok, 2015). Binnen het integraal toetsbeleid zijn meerdere niveaus te onderscheiden, waaronder het beleid op instellingsniveau en het beleid op opleidingsniveau.
C1
Het management, de toetscommissie en de curriculumcommissie hebben niet vastgesteld aan welke kwaliteitseisen een toets(beleids)plan moet voldoen. Het beleidsplan is hoofdzakelijk een beschrijving van (losse) toetsprocessen, deze sluiten nog niet (volledig) aan op de visie op onderwijs. De kwaliteit van het beleidsplan wordt uitsluitend geëvalueerd als daar aanleiding toe is.
C2
Binnen de opleiding zijn kwaliteitscriteria vastgesteld voor het toets(beleids)plan. De visie op onderwijs en het toetskader van de instelling vormen de basis voor het beleidsplan. In het beleidsplan zijn naast toetsprocessen ook interventies opgenomen die beschrijven hoe de ambities gerealiseerd gaan worden. Met enige regelmaat wordt zowel de kwaliteit als de uitvoerbaarheid en bruikbaarheid van het beleidsplan geëvalueerd. De opbrengsten daarvan worden niet vanzelfsprekend besproken met alle collega’s of studenten, maar wel gebruikt om het beleidsplan bij te stellen.
C3
De kwaliteitscriteria die worden gebruikt bij het ontwikkelen van het toets(beleids)plan worden met regelmaat bijgesteld op basis van nieuwe (wetenschappelijke) inzichten. Ook bij de uitwerking van de processen en interventies wordt gebruik gemaakt van actuele (wetenschappelijke) kennis. Het beleidsplan, de visie op onderwijs en het toetskader van de instelling sluiten naadloos op elkaar aan. Het beleidsplan wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten worden besproken met zowel de relevante partners binnen de opleiding als met het werkveld.
C4
De kwaliteitscriteria die gesteld worden aan het toets(beleids)plan worden besproken met relevante externe partners en sluiten aan bij de landelijke kaders. De opgenomen processen en interventies richten zich op de lange termijn, er zijn tussendoelen opgesteld zodat tussentijdse evaluatie mogelijk is. Het beleidsplan wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria, de opbrengsten worden besproken met zowel de relevante partners binnen de opleiding als met het werkveld.
Het toetsprogramma is een bewuste en beargumenteerde combinatie van toets(vorm)en, passend bij de doelen en opbouw van een opleiding (het onderwijsprogramma) (Baartman & Van der Vleuten, 2015). Het gaat om de heldere samenhang tussen toetsen en de borging van de verschillende functies van toetsing.
B1
De examencommissie, toetscommissie en curriculumcommissie hebben niet vastgesteld aan welke kwaliteitscriteria een toetsprogramma van de opleiding moet voldoen. Iedere docent ontwikkelt zijn eigen toetsen, er is echter geen overzicht van de samenhang tussen de toetsen. Het is hierdoor niet met zekerheid vast te stellen dat de toetsen gezamenlijk de beoogde leerresultaten dekken.
B2
Binnen de opleiding zijn kwaliteitscriteria vastgesteld voor het toetsprogramma. De beoogde leerresultaten vormen de basis voor het ontwerpen van het toetsprogramma. Met enige regelmaat worden zowel de dekking als de uitvoerbaarheid van het toetsprogramma geëvalueerd. De opbrengsten daarvan worden niet vanzelfsprekend besproken met alle collega’s of studenten, maar wel gebruikt om de samenhang tussen de toetsen te verbeteren.
B3
De kwaliteitscriteria die worden gebruikt bij het ontwikkelen van het toetsprogramma worden met regelmaat bijgesteld op basis van nieuwe (wetenschappelijke) inzichten. Bij de ontwikkeling wordt er gelet op zowel de horizontale als verticale samenhang tussen de toetsen. Ook vindt overleg plaats over de meest geschikte toetsvormen, de functies van toetsen en de hoeveelheid van toetsen. De kwaliteit van het toetsprogramma wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten hiervan worden besproken met relevante partners binnen de opleiding.
B4
Zowel de kwaliteitscriteria als de opbouw van het toetsprogramma worden vastgesteld met het werkveld. Programmaonderdelen die plaatsvinden op de werkplek worden afgestemd met het werkveld zodat deze uitvoerbaar en passend zijn. Het toetsprogramma wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten worden besproken met zowel de relevante partners binnen de opleiding als met het werkveld.
De kwaliteit van de hele organisatie van het toetsbouwwerk is belangrijk om toetskwaliteit te kunnen garanderen. Met de toetsorganisatie wordt verwezen naar de wijze waarop docenten, examencommissie, toetscommissie, management en ondersteunende medewerkers doelgericht met elkaar samenwerken om de gewenste toetskwaliteit op alle toetsentiteiten te realiseren (Van Deursen & Van Zijl, 2015). Daarbij gaat het om het vaststellen van rollen, taken en verantwoordelijkheden van actoren/betrokkenen bij toetsing, het rolvast met elkaar samenwerken en de logistieke organisatie van toetsing.
D1
Managers, beleidsmedewerkers en andere medewerkers verantwoordelijk voor de inrichting van de toetsorganisatie hebben niet vastgesteld aan welke kwaliteitscriteria de toetsorganisatie moet voldoen. De toetsprocessen worden door de docenten naar eigen inzicht vormgegeven. Er zijn wel afspraken gemaakt over de rollen, taken en verantwoordelijkheden binnen de toetsprocessen, maar medewerkers weten uitsluitend aan welke verantwoordelijkheden zij zelf moeten voldoen. De kwaliteit van de toetsorganisatie wordt uitsluitend geëvalueerd als daar aanleiding toe is.
D2
Binnen de opleiding zijn kwaliteitscriteria vastgesteld voor de toetsorganisatie. Alle rollen, taken en verantwoordelijkheden zijn vastgelegd, zodat iedereen weet wie waarvoor verantwoordelijk is. Het is voor iedereen helder hoe de verschillende toetsprocessen zich tot elkaar (zouden moeten) verhouden, deze sluiten echter nog niet vanzelfsprekend naadloos op elkaar aan. Met enige regelmaat wordt de kwaliteit van de toetsorganisatie geëvalueerd. De opbrengsten daarvan worden niet vanzelfsprekend besproken met alle collega’s of studenten, maar wel gebruikt om toetsprocessen te verbeteren.
D3
De kwaliteitscriteria die worden gebruikt bij het inrichten van de toetsorganisatie worden met regelmaat bijgesteld op basis van nieuwe (wetenschappelijke) inzichten. De rollen, taken en verantwoordelijkheden worden binnen de opleiding regelmatig met elkaar besproken en op elkaar afgestemd. De kwaliteit van de toetsorganisatie wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria. De opbrengsten hiervan worden besproken met relevante partners binnen de opleiding.
D4
Zowel de kwaliteitscriteria als de inrichting van de toetsorganisatie worden vastgesteld met het werkveld. De rollen, taken en verantwoordelijkheden van het werkveld zijn vastgelegd, evenals de toetsprocessen die plaatsvinden op de werkplek. De kwaliteit van de toetsorganisatie wordt structureel geëvalueerd aan de hand van de kwaliteitscriteria, de opbrengsten worden besproken met zowel de relevante partners binnen de opleiding als met het werkveld.
Voor meer informatie en bronnen verwijzen wij naar het werkboek.