Tutkimus ChatGPT:llä luotujen käännösten laadusta
Heikkilä, Josefiina (2024-06-10)
Tutkimus ChatGPT:llä luotujen käännösten laadusta
(10.06.2024)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
avoin
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe2024061452800
https://urn.fi/URN:NBN:fi-fe2024061452800
Tiivistelmä
Tekoälyohjelmistot ovat kehittyneet paljon viime vuosien aikana. Myös niiden käyttö on yleistynyt niin yrityksissä kuin yksityisihmisillä. Suomen kielellä uusia malleja on tutkittu verrattain vähän, vaikka laajan käytön vuoksi on tärkeää ymmärtää, mihin tekoäly pystyy ja mitkä ovat sen heikkoudet. Tässä tutkielmassa tutkitaan, miten suosioon noussut ChatGPT onnistuu kääntämisessä englanti-suomi-kieliparilla.
ChatGPT hyödyntää GPT-3.5-kielimallia, joka on koulutettu vastaamaan käyttäjän antamaan kehotteeseen. GPT-kielimalli on arkkitehtuuriltaan transformer ja hyödyntää itsehuomiomekanismia. Tämä mahdollistaa esimerkiksi tekstissä kaukana toisistaan olevien osien välisten riippuvuuksien huomioimisen. Kääntämisessä itsehuomiomekanismi voi parantaa käännöksen laatua, koska konteksti huomioidaan.
Tutkimuksen käännösaineistoksi on kerätty 20 uutisartikkelia: 10 suomenkielistä ja 10 englanninkielistä. Uutisartikkelit syötetään ChatGPT:lle kerran ja kehotteessa pyydetään ohjelmistoa tuottamaan käännös. Tämän jälkeen tuotetut käännökset pisteytetään käyttäen MQM-pisteytysmenetelmää. MQM-menetelmässä virheet jaetaan tyypeittäin ja vakavuusasteittain. Jaottelun avulla niille lasketaan numeerinen virhearvo. Mitä suurempi tai vakavampi virhe, sitä suurempi on virheen virhearvo.
Tuotetuista käännöksistä käy ilmi, että ChatGPT tekee käännöksissään toistuvia virheitä. Yleisimpiä virhetyyppejä ovat suorat sanasta sanaan käännökset. Virheet johtavat epäidiomaattisiin ilmauksiin, jotka vaikeuttavat tekstin ymmärtämistä. Virheitä tapahtuu enemmän käännettäessä englannista suomeksi. Kummankaan kielen käännöksiä ei voisi käyttää ilman ihmisen tekemiä muokkauksia. Käännöksiä voisi kuitenkin hyödyntää alustavan käännösversion luomiseen tai saadakseen yleiskuvan tekstistä.
ChatGPT hyödyntää GPT-3.5-kielimallia, joka on koulutettu vastaamaan käyttäjän antamaan kehotteeseen. GPT-kielimalli on arkkitehtuuriltaan transformer ja hyödyntää itsehuomiomekanismia. Tämä mahdollistaa esimerkiksi tekstissä kaukana toisistaan olevien osien välisten riippuvuuksien huomioimisen. Kääntämisessä itsehuomiomekanismi voi parantaa käännöksen laatua, koska konteksti huomioidaan.
Tutkimuksen käännösaineistoksi on kerätty 20 uutisartikkelia: 10 suomenkielistä ja 10 englanninkielistä. Uutisartikkelit syötetään ChatGPT:lle kerran ja kehotteessa pyydetään ohjelmistoa tuottamaan käännös. Tämän jälkeen tuotetut käännökset pisteytetään käyttäen MQM-pisteytysmenetelmää. MQM-menetelmässä virheet jaetaan tyypeittäin ja vakavuusasteittain. Jaottelun avulla niille lasketaan numeerinen virhearvo. Mitä suurempi tai vakavampi virhe, sitä suurempi on virheen virhearvo.
Tuotetuista käännöksistä käy ilmi, että ChatGPT tekee käännöksissään toistuvia virheitä. Yleisimpiä virhetyyppejä ovat suorat sanasta sanaan käännökset. Virheet johtavat epäidiomaattisiin ilmauksiin, jotka vaikeuttavat tekstin ymmärtämistä. Virheitä tapahtuu enemmän käännettäessä englannista suomeksi. Kummankaan kielen käännöksiä ei voisi käyttää ilman ihmisen tekemiä muokkauksia. Käännöksiä voisi kuitenkin hyödyntää alustavan käännösversion luomiseen tai saadakseen yleiskuvan tekstistä.