Chcemy aby nasz instytutowy łazik potrafił objechać budynek Instytutu
wykorzystując jedynie kamery pokładowe. Pokażmy, że nie tylko w dolinie
krzemowej powstają pojazdy autonomiczne!
Nasz uniwersytecki łazik jest świetną platformą do poznawania algorytmów
potrzebnych w autonomicznych pojazdach: całe sterowanie jest cyfrowe (podobnie
jak w samochodach łazik posiada szynę danych CAN), komunikacja z komputerem i
podzespołami wykorzystuje pakiet robotyczny ROS [1], wykonane są narzędzia
znajdujące do wizualizacji stanu łazika (położenie, prędkości kół itp.).
Ponadto łazik może udźwignąć sporej wielkości laptopa, albo minikomputer
pokładowy Nvidia Jetson (którym dysponujemy).
**Wstępny plan pracy**
W przypadku pierwszego podejścia chcielibyśmy zacząć od próby odtworzenia
systemów sterujących prawdziwymi samochodami opracowanymi przez Nvidię [2,3] i
Udacity [4]. W tym celu wykorzystamy dostarczone przez Udacity dane i
symulator.
W kolejnym kroku przeniesiemy działanie modelu ze sterowania samochodem (kąt
kierownicy i prędkość) na sterowanie łazikiem (możemy albo podobnie zadawać
kąt, prędkość i odczytywać położenie, ale możemy tez oddzielnie sterować
każdym z kół). Będziemy musieli stworzyć zbiór danych uczących (nagramy
przejazdy łazikiem wokół II i na Opatowicach), oraz metody powiększania zbioru
danych - w tym zasymulować co widziałby łazik gdyby sam mógł trochę oddalić
się od nagranych przejazdów.
Być może spróbujemy też wyuczyć modele rozwiązujące przydatne podproblemy:
wykrywanie gdzie jest ścieżka, np. implementując [5] i przewidywanie głębi ze
zdjęć [6].
Projekt będzie tez wymagał wykonanie drobnych przeróbek łazika: oczujnikowania
go aby nie zrobił sobie krzywdy (dołożymy czujniki ultradźwiękowe i być może
dorobimy mechanizmy geofencingu - autonomia sama wyłączy się na podstawie
sygnału z GPS).
Przedmiot prowadzony będzie z Markiem Materzokiem.
Literatura:
[1] <http://www.ros.org/>
[2] Bojarski, Mariusz, et al. "End to end learning for self-driving cars."
_arXiv preprint arXiv:1604.07316_ (2016). <https://arxiv.org/abs/1604.07316>
[3] <https://www.youtube.com/watch?v=-96BEoXJMs0>
[4] <https://www.udacity.com/self-driving-car>
[5] Eigen, David, Christian Puhrsch, and Rob Fergus. "Depth map prediction
from a single image using a multi-scale deep network." _Advances in neural
information processing systems_. 2014.
<http://papers.nips.cc/paper/5539-depth-map-prediction-from-a-single-image-
using-a-multi-scale-deep-network>
[6] Badrinarayanan, Vijay, Alex Kendall, and Roberto Cipolla. "Segnet: A deep
convolutional encoder-decoder architecture for image segmentation." _arXiv
preprint arXiv:1511.00561_ (2015). <https://arxiv.org/abs/1511.00561>
Fri 12:15-2pm, you must book a slot at https://calendar.google.com/calendar/selfsched?sstoken=UUtYVm5mOVkxUVRNfGRlZmF1bHR8ZmJjZmRiMzU4ODA0NDAyYTYzOTZiZjNjY2Y2ZDQwODk
