The assessment of reasoning skills in nursing student selection – Test development and psychometric testing
Vierula, Jonna (2021-06-04)
The assessment of reasoning skills in nursing student selection – Test development and psychometric testing
(04.06.2021)
Turun yliopisto
Julkaisun pysyvä osoite on:
https://urn.fi/URN:ISBN:978-951-29-8456-5
https://urn.fi/URN:ISBN:978-951-29-8456-5
Tiivistelmä
The purpose of this three-phased study was I) to identify reasoning skills to be assessed in nursing student selection, II) to develop and psychometrically test a Reasoning Skills (ReSki) test for undergraduate nursing student selection, and III) to assess nursing applicants’ reasoning skills and factors related to them. The aim was to develop a valid and objective ReSki test for national use in nursing student selection. The ultimate goal was to develop the undergraduate nursing student selection and thus the selection of applicants who are in the future able to make sound decisions thus promoting good nursing care and patient safety.
In phase I, a scoping review (24 original studies) and focus group interviews (16 nursing students and 9 experts) were conducted. Charting, collating, summarising, and inductive content analysis were used to analyse the review data. Deductive and inductive content analysis were used to analyse the focus group data. In phase II, an electronic ReSki test (version 2) was developed (including a pilot-study and expert panels) and psychometrically (including a usability evaluation) tested with a methodological cross-sectional study with 1,056 nursing applicants. The data were analysed using descriptive statistics, correlations, Item Response Theory (IRT) and usability analysis. In phase III, the data (n=1,056) from the psychometric testing (phase II) were used. Descriptive statistics, correlations, and analysis of covariance with Tukey’s test in post-hoc multiple group comparisons were used to analyse the data.
The assessment of nursing applicants’ reasoning skills involved skills in collecting information, processing information, and identifying the problem and establishing goals. The ReSki test was a valid, usable, and objective assessment method, but the IRT-analysis indicated further improvement to the distractor items is needed for the desired adjustment of the difficulty level. Applicants succeeded best in collecting and processing the information and worst in identifying the problem and establishing goals. Age, gender, previous education, and work experience (only in identifying the problem and establishing goals) were statistically significantly related to the applicants’ reasoning skills. The results have implications especially for nursing education and its research. Päätöksentekotaitojen arviointi sairaanhoitajakoulutuksen opiskelijavalinnassa – Testin kehittäminen ja psykometrinen testaus
Tämän kolmivaiheisen tutkimuksen tarkoituksena oli I) tunnistaa sairaanhoitajakoulutuksen opiskelijavalinnassa arvioitavat päätöksentekotaidot, II) kehittää sairaanhoitajakoulutuksen hakijoiden päätöksentekotaitoja arvioiva Reasoning Skills (ReSki)-testi ja arvioida sen psykometrisia ominaisuuksia, sekä III) arvioida hakijoiden päätöksentekotaitoja ja niihin yhteydessä olevia tekijöitä. Tavoitteena oli kehittää luotettava ja objektiivinen ReSki-testi kansalliseen käyttöön. Lopullinen päämäärä oli kehittää sairaanhoitajakoulutuksen opiskelijavalintaa, mikä edistäisi hyvää hoitoa ja potilasturvallisuutta.
Vaiheessa I toteutettiin kartoittava katsaus (scoping review) (24 tutkimusta) ja fokusryhmähaastattelut (16 sairaanhoitajaopiskelijaa ja 9 asiantuntijaa). Katsausaineisto analysoitiin taulukoimalla, kokoamalla, tiivistämällä ja induktiivisella sisällönanalyysilla, ja fokusryhmäaineisto deduktiivisella ja induktiivisella sisällönanalyysilla. Vaiheessa II kehitettiin sähköinen ReSki-testi (versio 2) (vaihe sisälsi pilottitutkimuksen ja asiantuntijapaneelit). Psykometrinen testaus toteutettiin (sisältäen käytettävyysarvioinnin) poikkileikkaustutkimuksen avulla (1056 sairaanhoitajakoulutuksen hakijaa). Aineisto analysoitiin kuvailevin menetelmin, korrelaatioilla, osiovaste- ja käytettävyysanalyysilla. Vaiheessa III käytettiin samaa aineistoa kuin vaiheessa II (n=1056). Aineisto analysoitiin kuvailevin menetelmin, korrelaatioilla ja kovarianssianalyysilla (Tukeyn testi).
Päätöksentekotaitojen arviointi koostui tiedon keräämisen, tiedon prosessoinnin sekä ongelman tunnistamisen ja tavoitteiden asettamisen taitojen arvioimisesta. ReSki-testi oli luotettava, käytettävä ja objektiivinen arviointimenetelmä, mutta osiovasteanalyysin perusteella harhauttajaväittämiä tulisi muokata testin vaikeustason optimoimiseksi. Parhaiten hakijat menestyivät tiedon keräämisessä ja prosessoinnissa, ja heikoiten ongelman tunnistamisessa ja tavoitteiden asettamisessa. Päätöksentekotaitoja selittivät pääosin ikä, sukupuoli ja koulutustausta sekä osittain työkokemus. Tuloksia voidaan hyödyntää erityisesti hoitotyön koulutuksessa ja sen tutkimuksessa.
In phase I, a scoping review (24 original studies) and focus group interviews (16 nursing students and 9 experts) were conducted. Charting, collating, summarising, and inductive content analysis were used to analyse the review data. Deductive and inductive content analysis were used to analyse the focus group data. In phase II, an electronic ReSki test (version 2) was developed (including a pilot-study and expert panels) and psychometrically (including a usability evaluation) tested with a methodological cross-sectional study with 1,056 nursing applicants. The data were analysed using descriptive statistics, correlations, Item Response Theory (IRT) and usability analysis. In phase III, the data (n=1,056) from the psychometric testing (phase II) were used. Descriptive statistics, correlations, and analysis of covariance with Tukey’s test in post-hoc multiple group comparisons were used to analyse the data.
The assessment of nursing applicants’ reasoning skills involved skills in collecting information, processing information, and identifying the problem and establishing goals. The ReSki test was a valid, usable, and objective assessment method, but the IRT-analysis indicated further improvement to the distractor items is needed for the desired adjustment of the difficulty level. Applicants succeeded best in collecting and processing the information and worst in identifying the problem and establishing goals. Age, gender, previous education, and work experience (only in identifying the problem and establishing goals) were statistically significantly related to the applicants’ reasoning skills. The results have implications especially for nursing education and its research.
Tämän kolmivaiheisen tutkimuksen tarkoituksena oli I) tunnistaa sairaanhoitajakoulutuksen opiskelijavalinnassa arvioitavat päätöksentekotaidot, II) kehittää sairaanhoitajakoulutuksen hakijoiden päätöksentekotaitoja arvioiva Reasoning Skills (ReSki)-testi ja arvioida sen psykometrisia ominaisuuksia, sekä III) arvioida hakijoiden päätöksentekotaitoja ja niihin yhteydessä olevia tekijöitä. Tavoitteena oli kehittää luotettava ja objektiivinen ReSki-testi kansalliseen käyttöön. Lopullinen päämäärä oli kehittää sairaanhoitajakoulutuksen opiskelijavalintaa, mikä edistäisi hyvää hoitoa ja potilasturvallisuutta.
Vaiheessa I toteutettiin kartoittava katsaus (scoping review) (24 tutkimusta) ja fokusryhmähaastattelut (16 sairaanhoitajaopiskelijaa ja 9 asiantuntijaa). Katsausaineisto analysoitiin taulukoimalla, kokoamalla, tiivistämällä ja induktiivisella sisällönanalyysilla, ja fokusryhmäaineisto deduktiivisella ja induktiivisella sisällönanalyysilla. Vaiheessa II kehitettiin sähköinen ReSki-testi (versio 2) (vaihe sisälsi pilottitutkimuksen ja asiantuntijapaneelit). Psykometrinen testaus toteutettiin (sisältäen käytettävyysarvioinnin) poikkileikkaustutkimuksen avulla (1056 sairaanhoitajakoulutuksen hakijaa). Aineisto analysoitiin kuvailevin menetelmin, korrelaatioilla, osiovaste- ja käytettävyysanalyysilla. Vaiheessa III käytettiin samaa aineistoa kuin vaiheessa II (n=1056). Aineisto analysoitiin kuvailevin menetelmin, korrelaatioilla ja kovarianssianalyysilla (Tukeyn testi).
Päätöksentekotaitojen arviointi koostui tiedon keräämisen, tiedon prosessoinnin sekä ongelman tunnistamisen ja tavoitteiden asettamisen taitojen arvioimisesta. ReSki-testi oli luotettava, käytettävä ja objektiivinen arviointimenetelmä, mutta osiovasteanalyysin perusteella harhauttajaväittämiä tulisi muokata testin vaikeustason optimoimiseksi. Parhaiten hakijat menestyivät tiedon keräämisessä ja prosessoinnissa, ja heikoiten ongelman tunnistamisessa ja tavoitteiden asettamisessa. Päätöksentekotaitoja selittivät pääosin ikä, sukupuoli ja koulutustausta sekä osittain työkokemus. Tuloksia voidaan hyödyntää erityisesti hoitotyön koulutuksessa ja sen tutkimuksessa.
Kokoelmat
- Väitöskirjat [2836]