Projekt: autonomiczna jazda łazikiem

Chcemy aby nasz instytutowy łazik potrafił objechać budynek Instytutu wykorzystując jedynie kamery pokładowe. Pokażmy, że nie tylko w dolinie krzemowej powstają pojazdy autonomiczne!

Uwaga:
Projekt odbędzie się w obydwu semestrach, dopuszczalny jest wielokrotny udział jednego studenta w projekcie.
Prace wykonane w projekcie mogą stanowić część pracy inżynierskiej lub magisterskiej.

Nasz uniwersytecki łazik jest świetną platformą do poznawania algorytmów potrzebnych w autonomicznych pojazdach: całe sterowanie jest cyfrowe (podobnie jak w samochodach łazik posiada szynę danych CAN), komunikacja z komputerem i podzespołami wykorzystuje pakiet robotyczny ROS [1], wykonane są narzędzia znajdujące do wizualizacji stanu łazika (położenie, prędkości kół itp.). Ponadto łazik może udźwignąć sporej wielkości laptopa, albo minikomputer pokładowy Nvidia Jetson (którym dysponujemy).

W zeszłym semestrze udało nam się autonomicznie objechać garaż. Nasze rozwiązanie wykorzystywało głębokie sieci neuronowe sterujące łazikiem na podstawie obrazu z kamer [2]. Stworzyliśmy też symulator łazika do szybkich eksperymentów. W kolejnych semestrach chcielibyśmy dodać elementy tworzenia map i planowania trasy (SLAM).

Wstępny plan pracy
Chcielibyśmy przede wszystkim w pełni wykorzystać możliwości ROSa i pakietów SLAM RtabMAP [3]. Chcielibyśmy również zaimplementować pracę system w którym tworzona jest przybliżona mapa przejezdności na podstawie przewidywań sieci neuronowej [4].

Dostępne jest też wiele tematów usprawniających działanie łazika, przykładowo automatyczna manipulacja przedmiotami i wykrywanie obiektów.

Przedmiot prowadzony będzie wspólnie z Markiem Materzokiem.

Literatura:
[1] http://www.ros.org/
[2] Bojarski, Mariusz, et al. „End to end learning for self-driving cars.” arXiv preprint arXiv:1604.07316 (2016). https://arxiv.org/abs/1604.07316
[3] http://wiki.ros.org/rtabmap_ros
[4] Hadsell et al., Learning long-range vision for autonomous off-road driving, Journal of Field Robotics 2009