Tutkintojärjestelmä

Laatiminen ja esitestaus

1.1 Materiaalien valinta
Tehtävänlaatijat valitsevat materiaalit tehtäväluonnoksiin testispesifikaatioissa olevia ohjeita noudattaen. Lähteinä käytetään esimerkiksi sanoma- ja aikakauslehtiä, esitteitä, mainoksia ja radio-ohjelmia. Materiaalien valintaohjeissa käsitellään mm. seuraavia asioita:
o testattavia taitoja
o kielellistä vaativuutta
o aihealueita
o kulttuurisia erityispiirteitä
o tehtävätyyppejä.

Tekstejä käsitellään yhdessä tehtäväluonnosten kanssa. Tehtäväluonnoksia laaditaan aina useampia kuin lopulliseen testiin tarvitaan, mikä antaa mahdollisuuden hylätä testiin sopimattomat tekstit ja tehtäväluonnokset.

1.2 Tehtävänlaadinta
Tehtävänlaatijat ovat kieltenopettajia ja soveltavan kielitieteen edustajia. He laativat tehtäväluonnoksia sopimuksen mukaan. Soveltavan kielentutkimuksen keskus (Solki) vastaa tehtävänlaatijoiden kouluttamisesta ja laadintaohjeiden ylläpitämisestä ja kehittämisestä. Tehtävänlaadintaprosessia seuraa kehittelyprosessi, jossa laatijatiimin jäsenet suorittavat tehtävät, kommentoivat niitä ja ehdottavat muutoksia. Tämän jälkeen alkuperäinen tehtävänlaatija tekee tarvittavat muutokset. Tehtävät käyvät läpi tyypillisesti kaksi-kolme kommentointi- ja muutoskierrosta. Testivihkojen asettelu ja esitestaus tehdään Solkissa. Jokaisella testikierroksella on mukana sekä tehtäväpankissa olevia, kokeiltuja tehtäviä että uusia tehtäviä.

1.3 Esitestaus
Kaikissa testeissä on mukana sekä vanhoja että uusia tehtäviä. Testien jälkeinen osioanalyysi osoittaa, mitkä uusista tehtävistä toimivat hyvin yhdessä olemassa olevien tehtävien kanssa. Näitä tehtäviä käytetään yhdessä arvosanojen tuottamiseen ja myöhemmin uusia testejä järjestettäessä. Kommentteja uusista tehtävistä kerätään myös arvostelijoilta. Latenttien piirteiden teoriaan perustuvia tehtäväpankkeja laaditaan parhaillaan suomen, ruotsin ja englannin kieleen.

Arviointi

2.1 Prosessi
Osallistujien testivastaukset ja suullisen testin nauhoitteet lähetetään Solkiin keskitettyä arviointia varten. Arviointiprosessi alkaa arvostelijoiden työn standardisoinnilla. Tämän jälkeen alkaa varsinainen arviointityö, johon sisältyy ensimmäinen arviointi ja kaksoisarviointi. Kolmoisarviointi tehdään tarpeen mukaan Solkissa heti, kun arvioinnin tulokset ovat selvillä. YKI:ssä siirryttiin keskitettyyn arviointiin kahden vuoden kokeilun jälkeen, koska osoittautui, että se nopeutti arvostelua ja antoi paremmat mahdollisuudet arvioinnin laadun tarkkailulle.

Arvioinnin laatu varmistetaan monin tavoin. Arvostelijoiden pätevyysvaatimuksiin kuuluu kyseisen kielen yliopistotutkinto, ja useimmat arvostelijat ovat kyseisen kielen opettajia. Arviointi alkaa standardoinnilla, ja arviointityötä tukevat yksityiskohtaiset arviointiohjeet, kriteerit ja maamerkkisuoritukset. Kaksoisarvioinnista lisää alla.

2.2 Koulutus
Hyväksytyt arvostelijat merkitään arvostelijarekisteriin, jota ylläpitää Opetushallitus. Arvostelijarekisteriin merkitseminen edellyttää arvostelijakoulutuksen hyväksyttyä suorittamista. Kouluttajina toimivat YKI:n työntekijät Solkissa sekä kokeneet tehtävänlaatijat ja arvostelijat. Koulutuksessa tutustutaan arviointikriteereihin, keskustellaan niistä ja harjoitellaan niiden soveltamista esimerkkisuorituksiin. Harjoitusarvioinneista myös keskustellaan. Puhumisen ja kirjoittamisen arviointikoulutus alkaa maamerkkisuorituksiin tutustumisella. Tätä seuraa uusien esimerkkisuoritusten arviointi ja keskustelu niistä.

2.3 Kaksoisarviointi
Perus- ja keskitason testien suorituksista kaksoisarvioidaan rutiininomaisesti 30 %. Ensimmäinen arvostelija voi pyytää tiettyjä suorituksia kaksoisarvioitaviksi, mutta kaksoisarviointia täydennetään myös satunnaisotannalla. Jos todetaan, että joku arvostelija poikkeaa säännönmukaisesti yleisestä linjasta, kaikki hänen arvostelemansa suoritukset kaksoisarvioidaan. Ylimmän tason testien suoritukset (lukuun ottamatta koneellisesti arvosteltavia tehtäviä) kaksoisarvioidaan aina.

2.4. Tulokset
Osallistujat saavat sekä yleistaitotasoarvion että erillisen taitotasoarvion puhumisesta, puheen ymmärtämisestä, kirjoittamisesta, tekstin ymmärtämisestä ja rakenteista ja sanastosta. Käytetyssä taitotasoasteikossa on kuusi tasoa. Perustason testistä voi saada taitotasoja 1 ja 2, keskitason testistä taitotasoja 3 ja 4, ja ylimmän tason testistä taitotasoja 5 ja 6. Osallistujat, jotka eivät pysty osoittamaan kunkin testin alimman taitotason mukaista hallintaa, saavat perustason testistä arvosanan "alle 1", keskitason testistä arvosanan "alle 3" ja ylimmän tason testistä arvosanan "alle 5". Todistukset postitetaan osallistujille kahden kuukauden kuluessa tutkintoon osallistumisesta.

2.5. Luottamuksellisuus
Testitilaisuuksissa on hyvän testaustavan edellyttämä valvonta. Järjestävissä oppilaitoksissa on vastuuhenkilö, joka vastaa testivihkojen ja testisuoritusten säilymisestä luottamuksellisina. Testivihkot painatetaan ja säilytetään Jyväskylän yliopistossa.