Lexize-testin jatkovalidointi: vastaustarkkuuden ja reaktioajan yhteydet yleiseen kielitutkintoon
Manninen, Tiina (2023-10-10)
Lexize-testin jatkovalidointi: vastaustarkkuuden ja reaktioajan yhteydet yleiseen kielitutkintoon
(10.10.2023)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
avoin
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe20231016140400
https://urn.fi/URN:NBN:fi-fe20231016140400
Tiivistelmä
Tässä tutkielmassa tarkasteltiin Lexize-testin vastaustarkkuuden ja reaktioaikojen yhteyttä yleisessä kielitutkinnossa (YKI-tutkinto) suoriutumiseen. Kansainvälistyneessä maailmassa on ilmeinen tarve ihmisten kielitaidon tutkimiselle. Tämä taas vaatii kielitaidon mittaamista. Nykyiseltään kielitaidon mittaaminen suomalaisessa kokeellisessa kielipsykologisessa tutkimuksessa pohjautuu pitkälti itsearviointeihin. Maailmalla on kuitenkin jo jonkin aikaa käytetty rinnalla kyllä/ei-sanastotestiksi nimitettyä konseptia, jossa tutkittava erottelee oikeita sanoja kohdekieltä läheisesti muistuttavista epäsanoista (esim relo). Tällaisen testin kyky arvioida kielitaitoa perustuu ajatukseen siitä, että sanaston laajuus on vahvasti yhteydessä muihin kielenkäytön osa-alueisiin. Näin ollen kartoittamalla laajasti sanastoa kyllä/ei-sanastotestin avulla saadaan itsearviointeja objektiivisempi kuva testattavien kielitaidosta. Tutkielmassa käsiteltävä Lexize-testi on suomenkielinen kyllä/ei-sanavarastotesti.
Lexizen on alun perin kehittänyt Salmelan ja kumppaneiden työryhmä vuonna 2021. Tällöin testi validoitiin vertaamalla S1- ja S2-puhujien suoriutumista testissä. Lisäksi kartoitettiin Lexize-pisteiden korrelaatiota erinäisten taustatekijöiden kanssa. Tämän tutkielman tarkoitus on jatkaa Lexizen validointia vertaamalla tutkittavien suoriutumista Lexizessä heidän itseraportoituun suoriutumiseensa suomen kielen YKI-tutkinnossa. YKI-tutkinto on kansallinen kielitutkinto, jossa mitataan tutkittavan kykyä käyttää kieltä luontevasti erilaisissa kielen tuottoa ja ymmärtämistä vaativissa tehtävissä. YKI-tutkinnossa arvioidaan kirjoittamisen, lukemisen, puhumisen ja kuullun ymmärtämisen modaliteetteja. Tässä tutkielmassa tarkasteltiin Lexize-pisteiden korrelaatioita YKI-pisteiden kanssa niin kokonaissuoriutumisen näkökulmasta kuin modaliteettikohtaisesti. Hypoteesina oli, että Lexize-pisteet korreloivat YKI-tulosten kanssa, erityisesti luetun ja kuullun ymmärtämisen tulosten kanssa, sillä aiemmat tutkimukset ovat esittäneet meta-analyysitason todisteita sanaston laajuuden (jota Lexize mittaa) ja näiden modaliteettien välisestä yhteydestä. Lisäksi selvitettiin, antaako tutkittavien reaktioaikojen mittaaminen lisäarvoa Lexizelle. Aiempien tutkimustulosten pohjalta voidaan olettaa, että nopeammat vastaajat saisivat parempia tuloksia YKI-testistä, ja reaktioajan tarkkailu voisi näin ollen lisätä Lexizen kykyä erotella tutkittavien suoriutumista erityisesti korkeilla taitotasoilla.
Tutkielmaan kerättiin aineisto aikuisilta S2-puhujilta verkkokyselylomakkeen ja verkossa suoritettavan Lexizen tulosten pohjalta (N=65). Tutkielmassa verrattiin itseraportoituja YKI-tuloksia pisteytyskaavan mukaiseen Lexize-pistemäärään ja Lexizessa mitattuun keskimääräiseen reaktioaikaan. Tuloksina havaittiin, että Lexize korreloi YKI-tulosten kanssa vahvasti tai vähintään keskitasolla. Korrelaatio oli tilastollisesti merkitsevä kaikissa modaliteetissa. Vahva korrelaatio löytyi kirjoittamisen ja luetun sekä kuullun ymmärtämisen taitojen kanssa. Puhumisen taidon kanssa korrelaatio oli hieman heikompi. Reaktioajan suhteen löydös taas ei tukenut hypoteesia: Lexize-reaktioaika ei ennustanut suoriutumista YKI-tutkinnossa.
Tutkielman tulokset tukevat Lexizen validiteettia. Toisaalta tulokset viittaavat siihen, ettei reaktioajan tarkastelu paranna testin erottelukykyä. Tulosten perusteella voidaan ajatella, että Lexize on toimiva tapa mitata tutkittavan kielitaitoa silloin, kun kyse ei ole tutkittavalle erityisen painokkaista seurauksista. Esimerkiksi kielentutkimuksen kontekstiin Lexize on pätevä työkalu. Tämän tutkielman tuottamat tulokset ovat osittain erilaisia kuin aiempien samankaltaisia testejä tarkastelleiden tutkimusten tulokset. Reaktioajan mittaamisen hyötyjä kielitaidon testaamiselle tulisi kartoittaa tarkemmin eri konteksteissa ja kohderyhmissä.
Lexizen on alun perin kehittänyt Salmelan ja kumppaneiden työryhmä vuonna 2021. Tällöin testi validoitiin vertaamalla S1- ja S2-puhujien suoriutumista testissä. Lisäksi kartoitettiin Lexize-pisteiden korrelaatiota erinäisten taustatekijöiden kanssa. Tämän tutkielman tarkoitus on jatkaa Lexizen validointia vertaamalla tutkittavien suoriutumista Lexizessä heidän itseraportoituun suoriutumiseensa suomen kielen YKI-tutkinnossa. YKI-tutkinto on kansallinen kielitutkinto, jossa mitataan tutkittavan kykyä käyttää kieltä luontevasti erilaisissa kielen tuottoa ja ymmärtämistä vaativissa tehtävissä. YKI-tutkinnossa arvioidaan kirjoittamisen, lukemisen, puhumisen ja kuullun ymmärtämisen modaliteetteja. Tässä tutkielmassa tarkasteltiin Lexize-pisteiden korrelaatioita YKI-pisteiden kanssa niin kokonaissuoriutumisen näkökulmasta kuin modaliteettikohtaisesti. Hypoteesina oli, että Lexize-pisteet korreloivat YKI-tulosten kanssa, erityisesti luetun ja kuullun ymmärtämisen tulosten kanssa, sillä aiemmat tutkimukset ovat esittäneet meta-analyysitason todisteita sanaston laajuuden (jota Lexize mittaa) ja näiden modaliteettien välisestä yhteydestä. Lisäksi selvitettiin, antaako tutkittavien reaktioaikojen mittaaminen lisäarvoa Lexizelle. Aiempien tutkimustulosten pohjalta voidaan olettaa, että nopeammat vastaajat saisivat parempia tuloksia YKI-testistä, ja reaktioajan tarkkailu voisi näin ollen lisätä Lexizen kykyä erotella tutkittavien suoriutumista erityisesti korkeilla taitotasoilla.
Tutkielmaan kerättiin aineisto aikuisilta S2-puhujilta verkkokyselylomakkeen ja verkossa suoritettavan Lexizen tulosten pohjalta (N=65). Tutkielmassa verrattiin itseraportoituja YKI-tuloksia pisteytyskaavan mukaiseen Lexize-pistemäärään ja Lexizessa mitattuun keskimääräiseen reaktioaikaan. Tuloksina havaittiin, että Lexize korreloi YKI-tulosten kanssa vahvasti tai vähintään keskitasolla. Korrelaatio oli tilastollisesti merkitsevä kaikissa modaliteetissa. Vahva korrelaatio löytyi kirjoittamisen ja luetun sekä kuullun ymmärtämisen taitojen kanssa. Puhumisen taidon kanssa korrelaatio oli hieman heikompi. Reaktioajan suhteen löydös taas ei tukenut hypoteesia: Lexize-reaktioaika ei ennustanut suoriutumista YKI-tutkinnossa.
Tutkielman tulokset tukevat Lexizen validiteettia. Toisaalta tulokset viittaavat siihen, ettei reaktioajan tarkastelu paranna testin erottelukykyä. Tulosten perusteella voidaan ajatella, että Lexize on toimiva tapa mitata tutkittavan kielitaitoa silloin, kun kyse ei ole tutkittavalle erityisen painokkaista seurauksista. Esimerkiksi kielentutkimuksen kontekstiin Lexize on pätevä työkalu. Tämän tutkielman tuottamat tulokset ovat osittain erilaisia kuin aiempien samankaltaisia testejä tarkastelleiden tutkimusten tulokset. Reaktioajan mittaamisen hyötyjä kielitaidon testaamiselle tulisi kartoittaa tarkemmin eri konteksteissa ja kohderyhmissä.