Examensysteem

Opzet en pretest

1.1  Selectie van materiaal

De selectie en (waar noodzakelijk) het opnemen van materiaal gebeurt door een team van professionele constructeurs bij Cito en Bureau ICE. Het materiaal komt uit verschillende bronnen, zoals boeken, kranten, tijdschriften, brochures, advertenties, schema's, handleidingen, gebruiksaanwijzingen, aantekeningen, formulieren, etiketten, interviews, discussies, gesprekken, dialogen, lezingen, aankondigingen, rad ioprogramma's, telefonische berichten, aanwijzingen en lessen.

1.2  Toetsconstructie

Het team bij Cito ontwikkelt de toets voor Luisteren en Spreken, ICE die voor Spreken en Schrijven. De items worden gereviseerd op basis van commentaar van collega's. De definitieve versie van elk examen wordt goedgekeurd door de Staatsexamencommissie, die speciaal voor dit doel is samengesteld door het Ministerie van Onderwijs, Cultuur en Wetenschappen.

1.3  Pretest

Alle items worden gepretest. De selectie en calibratie van items gebeurt op basis van de Item Respons Theorie, met gebruikmaking van een één parameter Rasch model. Dit model maakt het mogelijk om voor de examenafname al een cesuur te bepalen die gerelateerd is aan vaardigheidsniveaus.

Beoordeling

2.1 Proces

De schrijfproducten en spreekuitingen van kandidaten worden door twee beoordelaars beoordeeld. Zonodig wordt een derde beoordelaar ingeschakeld. De beoordelaars zijn ervaren NT2-docenten. Zij worden opgeleid en gecertificeerd door medewerkers van Cito en Bureau ICE. Tijdens het beoordelen beschikken zij over uitgebreide beoordelingsvoorschriften, waarin verschillende aspecten van taalvaardigheid aan de orde komen.
De luister- en leesitems worden geautomatiseerd verwerkt met behulp van optisch leesbare formulieren.
De ruwe scores van de examens worden geschaald met behulp van IRT. De cesuur wordt bepaald op een vast punt op de vaardigheidsschaal.

2.2 Training

De beoordelaars volgen een driedaagse cursus waarin vertrouwd worden gemaakt met de uitgangspunten van het examen en waarin ze oefenen met de beoordelingsvoorschriften. Op de derde dag leggen ze een examen af en indien ze geslaagd zijn, ontvangen ze een certificaat waarmee ze officieel beoordelaar zijn.

2.3 Controles

Door middel van een psychometrische analyse kunnen beoordelaars die afwijken opgespoord worden. Beoordelaar worden niet langer ingezet als hun scores significant afwijken van hun tegenbeoordelaar.

Uitslagen

De ruwe score wordt omgezet in een schaalscore die theoretisch loopt van 100 tot 900. De cesuur ligt bij 500. De kandidaten krijgen zes weken na de afname hun schaalscore opgestuurd.

Geheimhouding

Elk onderdeel van het proces, van constructie tot en met de afname, wordt zorgvuldig gecontroleerd met het oog op de geheimhouding.