Ethical autonomous vehicles: developing a publicly acceptable ethical setting

Abstract

Fully autonomous vehicles (AV) are likely to be a reality within a decade, bringing about numerous benefits from easing congestion to enabling prolonged independence for elderly. But with all these benefits, there are numerous challenges to be solved before this can be a reality. Some of them are purely technical, but some are fundamental ethical issues in the relationship between man and machine. Lately, especially the crash algorithms and harm distribution have been in the centre of AV ethics research. Meaning, how should an autonomous system distribute harm in situations where it can’t be avoided? There are numerous variables to answer, from permitting active intervention to what party to prioritize. This thesis set out to explore different decision-making models and ethical theories that could offer a solution for morally acceptable autonomous vehicles. Objective is to gain an understanding of the general values that an AV ethical setting must possess to gain society’s trust. This thesis is a qualitative and explorative study, presenting methods of simulating moral dilemmas faced by AVs, as well as distinct moral variables that are present in real-life scenarios. The goal is to see how laypeople, or future users, would prefer an AV to solve these moral dilemmas. The data is gathered from five semi-structured interviews, inspired by the famous trolley problem. The study also utilizes a discourse ethical group interview as a tool to achieve a majority consensus on the scenarios, which are used to propose an ethical policy for a publicly acceptable AV. The results indicate that a publicly acceptable ethical setting comes down to two rational principles. First, the AV must be able to confine harm according to pre-determined rules, preferably to the responsible party. This is the user by default, but it must have the capability to transfer harm to the party responsible of creating the risky situation. Secondly, an AV must be predictable, both in terms of reactions and actions. It means that an AV must be able to take legal responsibility into account, which will lead to predictable reactions to lawful or unlawful behaviours of other traffic participants. It also means utilizing a rule-based decision-making system, instead of outcome-based optimization. This leads to better system transparency, as other traffic participants can be aware of the AVs decision making process in advance. The study also revealed fierce opposition against prioritization based on qualitative factors such as age. The results present a major divergence from existing research, where harm minimization has been the primary preference. The study suggests that the AV ethics research and development shift away from utilitarian harm minimization and place more focus on harm confinement and predictability. Also, the results suggest that qualitative prioritization may be preferred only in studies where participants do not need to defend this immoral position. The study also provides a methodological contribution by validating discourse ethics as a tool to form a consensus on moral preferences, perhaps also on a wider scale.

Täysin autonomiset ajoneuvot (AA) ovat todennäköisesti todellisuutta tämän vuosikymmenen kuluessa, tuoden mukanaan valtavasti hyötyjä ruuhkaantumisen helpottamisesta vanhusten lisääntyneeseen itsenäisyyteen. Mutta hyötyjen mukana tulee myös lukuisia haasteita, jotka tulee ratkaista ennen kaupallistamista. Osa näistä on täysin teknisiä, mutta osa perustavamman laatuisia ongelmia ihmisen ja koneen keskinäisessä suhteessa. Viime aikoina AA-etiikan tutkimuksen pääpaino on ollut erilaisissa törmäysalgoritmeissa ja siinä, miten harmia jaetaan osapuolten kesken. Miten autonomisen ajoneuvon tulisi jakaa harmia tilanteissa, jossa siltä ei voida välttyä? Vastattavana on kysymyksiä aina aktiivisen intervention sallimisetta siihen, mitä osapuolta lähtökohtaisesti priorisoidaan. Tämä tutkimus kartoittaa erilaisia päätöksentekomalleja ja eettisiä teorioita, jotka voisivat tarjota ratkaisun moraalisesti hyväksyttävästä AA:sta. Tavoite on ymmärtää, minkälaisia perusominaisuuksia järjestelmän tulisi omata ollakseen yhteiskunnallisesti hyväksyttävä. Tämä on kvalitatiivinen ja exploratiivinen tutkimus, joka esittää erilaisia metodeja AA:n kohtaamien moraalisten ristiriitojen mallintamiseksi. Tavoite on selvittää, miten tavalliset ihmiset, eli tulevat käyttäjät, preferoivat AA:n ratkaisevan moraalisia ristiriitoja. Nämä preferenssit kerätään viidestä puolistrukturoidusta haastattelusta, joiden inspiraationa toimii kuuluisa ”trolley problem” – ajatuskoe. Tutkimus myös käyttää diskurssieettistä työpajaa työkaluna, jonka tarkoituksena on saavuttaa enemmistökonsensus oikeista ratkaisuista. Tästä konsensuksesta muodostetaan lopuksi etiikkapolitiikka ja eettinen asetus yhteiskunnallisesti hyväksytylle AA:lle. Tulokset osoittavat, että julkisesti hyväksytty eettinen asetus rakentuu pääasiassa kahden periaatteen varaan. AA:n tulee kyetä rajaamaan harmi vastuussa olevaan osapuoleen ennalta määriteltyjen sääntöjen mukaisesti. Lähtökohtaisesti käyttäjä on vastuussa, mutta AA:n on myös kyettävä siirtämään harmia laillisesti vastuussa olevalle osapuolelle. AA:n tulee myös olla ennustettava, sekä reaktioiltaan että toiminnaltaan. Tämä tarkoittaa sitä, että AA:n on kyettävä ottamaan laillinen vastuu huomioon, joka johtaa ennustettaviin reaktioihin vastapuolen käytöksen mukaan. Se vaatii myös sääntöperusteisen päätöksentekomallin käyttöönottoa, tulosperusteisen optimoinnin sijaan. Tämä johtaa parempaan järjestelmän läpinäkyvyyteen, kun muut liikenneosapuolet ovat tietoisia AA:n päätöksentekologiikasta etukäteen. Tutkimus myös osoittaa vahvaa vastustusta laadullisiin tekijöihin, kuten esimerkiksi ikään, perustuvaa priorisaatiota kohtaan. Tulokset edustavat merkittävää poikkeamaa aikaisemmasta tutkimuksesta, jossa harmin minimointi on ollut pääasiallinen preferenssi. Tutkimus ehdottaa, että AA-etiikan tutkimus ja kehitys siirtyisi utilitarianistisesta harmin minimoinnista kohti harmin rajausta ja ennustettavuutta. Tulokset myös implikoivat, että laadullisiin tekijöihin perustuvaa priorisointia preferoidaan lähtökohtaisesti vain tutkimusasetelmissa, joissa vastaajien ei tarvitse perustella mielipiteitään. Tähän liittyen tutkimus tekee metodologisen kontribuution vahvistamalla diskurssietiikan sopivuuden työkaluna, jolla voidaan saavuttaa konsensus sensitiivisissä ja subjektiivisissä aiheissa laajemmassakin mittakaavassa.