Should every stage of track-by-detection utilize deep learning?

Abstract

The neural network-based solutions are becoming more and more popular because of their ability to solve problems, which could not be solved before. This has also led people to utilize neural networks to solve problem, where more classical methods could be utilized. This work tries to solve if the usage of neural networks in track-by-detection paradigm gives the system an advance over system with classical methods when tracking pedestrians. Track-by-detection is a two-module system, where the first module extracts detections from an input image. Detections are fed to the second module, which associates detections with unique identifier and tries to track identified objects through a sequence of concurrent images.

The hypothesis of this work is that both modules in track-by-detection can be replaced with solutions without a neural network. Research was performed for both modules separately, be because the object detection can be evaluated without the second module, which can be evaluated with precalculated detections. Research about object detection was done as a literature review. Different tracking algorithms were evaluated using MOTChallenge’s data set. According to the results from the literature review, object detection cannot be replaced with classical methods. The results about tracking shows that tracking can be done well without neural networks.

Results of this work shows that neural network-based solutions are justified to be used in the first module of track-by-detection. The second module can be neural network-based, but this required more resources to get working well. Many of the more classical methods can be swapped easily in the track-by-detection to find which methods works best in the current use-case. According to the results, neural network-based trackers do not bring enough benefits for real-time tracking to be used over classical methods.

Neuroverkkopohjaisten ratkaisujen suosio on jatkuvassa kasvussa, koska niiden avulla kyetään ratkaisemaan ongelmia, joita ei ole ennen voinut ratkaista. Tämä on kuitenkin johtanut siihen, että neuroverkkoja käytetään ratkaisemaan ongelmia, joihin perinteiset menetelmät toimisivat hyvin. Tässä työssä pyritään selvittämään, onko neuroverkkojen hyödyntäminen jalankulkijoiden havaintopohjaisessa seurannassa tarpeen. Havaintopohjainen seuranta (Track-by-detection) on paradigma, joka muodostuu kahdesta moduulista. Ensimmäinen moduuli hoitaa kohteen tunnistuksen annetusta kuvasta ja lähettää havainnot seuraavalle moduulille. Toisen moduulin työ on luoda uniikkeja tunnisteita havainnoille ja yhdistää peräkkäisten kuvien havainnot toisiinsa.

Tämän työn hypoteesi on, että havaintopohjaisen seurannan molemmat moduulit voidaan korvata klassisilla menetelmillä, jotka eivät hyödynnä neuroverkkoja. Molempia moduuleja tutkittiin erikseen, koska molempia moduuleja voidaan arvioida ilman toista. Ensimmäinen moduuli arvioitiin kirjallisuuskatsauksena ja toinen moduuli arvioitiin hyödyntäen MOTChallengen arviointikriteerejä. Kirjallisuuskatsauksen tuloksien perusteella kohteen tunnistusta ei voida korvata järkevästi klassisilla menetelmillä. Havaintojen seurantaan käytettävä moduuli voidaan korvata menetelmillä, jotka eivät käytä neuroverkkoja.

Työn tuloksien mukaan neuroverkkopohjaiset ratkaisut ovat oikeutettuja käytettäväksi havaintopohjaisen paradigman ensimmäisessä moduulissa. Toisessa moduulissa neuroverkkopohjaisia ratkaisuja voidaan hyödyntää, mutta tällöin ratkaisun luominen vaatii enemmän resursseja kehitysvaiheessa. Klassisilla menetelmillä voidaan helposti ja nopeasti kokeilla eri menetelmiä löytääksemme parhaimman mahdollisimman menetelmän ratkaistavalle käyttötapaukselle. Tuloksien mukaan neuroverkkopohjaiset seurantamenetelmät eivät tuo tarpeeksi hyötyä reaaliaikaisessa seurannassa, jotta niiden käyttäminen klassisten menetelmien sijaan olisi oikeutettua.