Kuvantamistutkimuksien lausunnoista metastaasitietoa tunnistavan kielimallin 1. vaiheen validointi
Sorvaniemi, Johannes (2024-04-11)
Kuvantamistutkimuksien lausunnoista metastaasitietoa tunnistavan kielimallin 1. vaiheen validointi
(11.04.2024)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
avoin
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2024041718934
https://urn.fi/URN:NBN:fi-fe2024041718934
Tiivistelmä
Syöpätautien diagnostiikassa, hoidossa ja seurannassa tieto syövän levinneisyydestä on keskeistä. Levinneisyyttä pyritään selvittämään heti syövän diagnoosihetkellä kuvantamistutkimuksin. Kuvantamistutkimuksista saatua tietoa ei kuitenkaan kirjata ja raportoida systemaattisesti, vaan tieto on radiologien lausunnoissa vapaamuotoisessa testimuodossa. Syöpätautien tutkimuksen näkökulmasta mielenkiinto kohdistuu lisäksi syövän levinneisyyden tarkkaan aikatauluun ja leviämisen kohde-elimeen. Tieto näistäkin on saatavilla lausuntojen vapaamuotoisesta tekstistä. Tällaisen tiedon automatisoitu löytäminen on haasteellista ja tiedon hakeminen on siksi manuaalista työtä. Tämä on ongelmallista etenkin suurten potilasaineistojen kohdalla.
Ongelman ratkaisemiseksi on kehitetty erilaisia luonnollisen kielen käsittelyyn (natural language processing, NLP) perustuvia tekoälymalleja. Tekoälymallien käytön etuna on automatisoitu tiedonhaku, joka mahdollistaa huomattavasti aiempaa suurempien aineistojen käsittelyn. Kehitetyt mallit ovat pääosin olleet riippuvaisia tietystä syöpätyypistä tai kuvantamismodaliteetista ja kirjallisuuskatsauksen perusteella mallia, joka toimisi suomenkielisille lausunnoille ei ole kehitetty. Tässä tutkimuksessa selvitimme Auria Tietopalveluiden kehittämän NLP-pohjaisen tekoälymallin toimintaa. Tavoitteena oli validoida, miten hyvin mallin 1. vaihe kykenee havaitsemaan lausuntoja, joissa on metastasoinnin kannalta oleellista tietoa.
Mallin toiminnan arvioimiseksi kerättiin 12:sta melanoomapotilaan 101 kuvantamistutkimuksen lausuntoaineisto. Lausuntoaineistosta lääketieteen kandidaatti ja syöpätauteihin erikoistuva lääkäri annotoivat lausunnot virkekohtaisesti metastaattisiin, ei-metastaattisiin tai epäselviin. Manuaalisen annotoinnin tuloksia verrattiin mallin 1. vaiheen kykyyn löytää metastaasitiedon suhteen oleelliset lausunnot.
Tässä tutkimuksessa havaittiin, että käytetyllä lausuntoaineistolla mallin 1. vaihe kykenee lausuntotasolla löytämään 95.8 % (n=23) oleellisista lausunnoista. Ainoastaan yksi lausunto jää havaitsematta. Virketasolla mallin 1. vaihe sen sijaan löytää vain noin puolet oleellisista lauseista. Rajoittuneen lausuntoaineiston takia mallin toiminnan arvioiminen on kuitenkin epäluotettavaa.
Ongelman ratkaisemiseksi on kehitetty erilaisia luonnollisen kielen käsittelyyn (natural language processing, NLP) perustuvia tekoälymalleja. Tekoälymallien käytön etuna on automatisoitu tiedonhaku, joka mahdollistaa huomattavasti aiempaa suurempien aineistojen käsittelyn. Kehitetyt mallit ovat pääosin olleet riippuvaisia tietystä syöpätyypistä tai kuvantamismodaliteetista ja kirjallisuuskatsauksen perusteella mallia, joka toimisi suomenkielisille lausunnoille ei ole kehitetty. Tässä tutkimuksessa selvitimme Auria Tietopalveluiden kehittämän NLP-pohjaisen tekoälymallin toimintaa. Tavoitteena oli validoida, miten hyvin mallin 1. vaihe kykenee havaitsemaan lausuntoja, joissa on metastasoinnin kannalta oleellista tietoa.
Mallin toiminnan arvioimiseksi kerättiin 12:sta melanoomapotilaan 101 kuvantamistutkimuksen lausuntoaineisto. Lausuntoaineistosta lääketieteen kandidaatti ja syöpätauteihin erikoistuva lääkäri annotoivat lausunnot virkekohtaisesti metastaattisiin, ei-metastaattisiin tai epäselviin. Manuaalisen annotoinnin tuloksia verrattiin mallin 1. vaiheen kykyyn löytää metastaasitiedon suhteen oleelliset lausunnot.
Tässä tutkimuksessa havaittiin, että käytetyllä lausuntoaineistolla mallin 1. vaihe kykenee lausuntotasolla löytämään 95.8 % (n=23) oleellisista lausunnoista. Ainoastaan yksi lausunto jää havaitsematta. Virketasolla mallin 1. vaihe sen sijaan löytää vain noin puolet oleellisista lauseista. Rajoittuneen lausuntoaineiston takia mallin toiminnan arvioiminen on kuitenkin epäluotettavaa.