A Deep Learning Approach to Maritime Vessel Detection

Abstract

The detection of maritime vessels is a fundamental task in maritime surveillance, and it is essential for various applications such as maritime traffic monitoring, search and rescue, and maritime security. Modern maritime surveillance systems rely on computer vision and deep learning techniques to detect and track maritime vessels in real-time. Maritime vessel detection from images is a challenging task due to various factors such as occlusions, varying illumination conditions, and long-range distances. The focus of this thesis is on researching and experimenting with modern object detector architectures, backbone networks and different maritime datasets in order to understand the effects of different factors on the performance of maritime vessel detection. Using transfer learning, in total 6 different object detectors are trained and evaluated on 2 different maritime datasets. Used architectures include one-stage and two-stage object detectors. Experimentation is performed on consumer grade hardware. The results of the experiment show that it is viable to develop a maritime vessel detection system using transfer learning and modern object detector architectures, even on consumer grade hardware. Quantitatively, the chosen one-stage architecture outperformed the chosen two-stage architecture with equivalent backbone networks, although the performance with both architectures were satisfactory. The qualitative results show that the major challenges in maritime vessel detection are related to environmental factors such as varying illumination conditions, long-range distances, and occlusions. Thus, additional research is needed to develop more robust maritime vessel detection systems. Techniques such as sensor fusion have been shown and could be used to improve the performance of maritime vessel detection systems, especially in challenging environmental conditions.

Meriliikenteen laivojen ja alusten havaitseminen on keskeinen haaste merivalvonnassa. Luotettava alusten havaitseminen on erityisen tärkeää erilaisissa sovelluskohteissa, kuten meriliikenteen seurannassa ja turvallisuudessa sekä etsintä- ja pelastustoimissa. Nykyaikaiset automaattiset merivalvontajärjestelmät hyödyntävät konenäköön ja syväoppimiseen perustuvia menetelmiä alusten havaitsemiseksi ja seuraamiseksi reaaliajassa. Meriliikenteen havaitseminen kuvista on haastavaa erilaisten tekijöiden, kuten vaihtelevien valaistusolosuhteiden, pitkien etäisyyksien ja esteiden vuoksi.

Tämän opinnäytetyön painopisteenä on nykyaikaisten kohteenhavaitsemisarkkitehtuurien, runkoneuroverkkojen ja erilaisten meriliikenteen tietoaineistojen tutkiminen ja kokeilu, ymmärtääksemme eri tekijöiden vaikutukset meriliikenteen alusten automaattiseen havaitsemiskykyyn. Siirto-oppimista hyödyntäen, yhteensä kuusi erilaista kohteenhavaitsemismallia koulutetaan ja arvioidaan kahdella erilaisella meriliikenteen tietoaineistolla. Käytetyt kohteenhavaitsemisarkkitehtuurit sisältävät yksi- ja kaksivaiheisia kohteenhavaitsemismalleja. Opinnäytetyön keskeinen koeasetelma suoritetaan kuluttajatason laitteistolla.

Kokeen tulokset osoittavat, että meriliikenteen alusten havaitsemisjärjestelmän kehittäminen on toteuttamiskelpoista, jopa kuluttajatason laitteistolla, hyödyntäen siirto-oppimista ja nykyaikaisia kohteenhavaitsemisarkkitehtuureja. Määrälliset tulokset osoittavat, että valittu yksivaiheinen arkkitehtuuri suoriutui paremmin kuin valittu kaksivaiheinen arkkitehtuuri vastaavilla runkoneuroverkoilla, vaikka suorituskyky molemmilla arkkitehtuureilla oli tyydyttävä. Laadulliset tulokset osoittavat, että suurimmat haasteet meriliikenteen alusten havaitsemisessa liittyvät ympäristötekijöihin, kuten vaihteleviin valaistusolosuhteisiin, pitkiin etäisyyksiin ja esteisiin. Näiden haasteiden vuoksi tarvitaan lisätutkimuksia kehittämään tehokkaita meriliikenteen laivojen ja alusten havaitsemisjärjestelmiä. Lisäksi erilaisia tekniikoita, kuten sensorifuusiota, on kirjallisuudessa ehdotettu hyödynnettäväksi havaitsemisjärjestelmien suorituskyvyn parantamiseksi, erityisesti haastavien ympäristöolosuhteiden vallitessa.