Wykład wprowadzi w tematykę Sztucznych Sieci neuronowych. Rozpoczniemy od
używania jedno- i wielowarstwowych sieci do rozwiązywania zagadnień
klasyfikacji i regresji. Następnie poznamy jak Sieci mogą pomoc w zmniejszeniu
wymiarowości danych i w odkrywaniu zależności z użyciem Map Samo-
ogranizujących się (Sieci Kohonena). Potem omowimy jak tworzyć głębokie sieci
neuronowe, ktore są obecnie najlepszymi modelami rozpoznającymi zdjęcia.
Zakończymy omowieniem sieci rekurencyjnych, stosowanych do tłumaczenia i
rozpoznawania mowy.
Tematy powiązane z sieciami neuronowymi, takie jak SVM lub PCA i ICA będą
sukcesywnie wprowadzane aby zaprezentować inne rozwiązania omawianych
zagadnień.
Wykładom towarzyszyć będzie pracownia na ktorej:
* Kluczowe zagadnienia zilustrowana będą małymi zadaniami.
* Przeprowadzony będzie konkurs umożliwiający sprawdzenia na większych i bardziej wymagających danych działania algorytmow.
**Wymagania:
**Rachunek prawdopodobieństwa i statystyka, programowanie w Matlabie lub
Pytnonie z numpy, Analiza numeryczna.
**Wstępny plan zajęć:
**
1. Wstęp do uczenia maszynowego, algorytmy uczące się, sztuczne sieci neuronowe.
2. Jedno- i wielowarstwowe sieci perceptronow.
3. Uczenie sieci neuronowych w trybie wsadowym i on-line.
4. Metody regularyzacji sieci.
5. Maszyny Wektorow Nośnych (Support Vector Machines).
6. Teoria uczenia PAC
7. Wstęp do uczenia bez nadzoru.
8. Metody faktoryzacji macierzy (PCA, ICA, NMF) i sieci samo-organizujące się.
9. Radialne funkcje bazowe: pomysł, zastosowania i metody tworzenia.
10. Nowe trendy i kierunki rozwoju sieci neuronowych:
1. Głębokie sieci neuronowe (deep learning).
2. Rekurencyjne sieci neuronowe.
**Description in English:
** The lecture will introduce the topic of Artificial Neural Networks. We will
start by using single- and multilayer perceptron networks to solve
classification and regression problems. Next it will be shown how networks can
help to reduce the dimensionality of the data and detect relations present in
the data through the introduction of Self Organizing Maps. We will then learn
how to construct deep networks, such as the ones currently used for image
recognition. We will finish with recurrent networks for natural language
processing, machine translation and speech recognition.
Topics related to Neural Networks, such as Support Vector Machines and matrix
factorizations, such as PCA and ICA will be introduced to provide another
solution to the problems discussed.
The lecture will be accompanied by computer exercises:
* Key topics will be illustrated by small exercises.
* A large competition will be hosted giving the opportunity to evaluate networks on real workd data.
**Course prerequisites:** it will be beneficial to know the basics of
statistics, numerical analysis, and have a good grasp on programming in Matlab
or Python+numpy.
**Tentative curriculum:**
1. Introduction to learning from data, learning machines, and artificial neural networks.
2. Single and multi-layer perceptron networks.
3. Artificial Neural Network training methods, both online and batch oriented.
4. Network regularization.
5. Support Vector Machines.
6. PAC learning.
7. Introduction to unsupervised learning.
8. Unsupervised methods: Matrix factorizations (PCA, ICA, NMF), Self-organizing maps.
9. Radial Basis Function networks: concepts, applications and design methods.
10. Current trends in Artificial Neural Networks
1. Deep Learning.
2. Recurrent neural networks.
Fri 12:15-2pm, you must book a slot at https://calendar.google.com/calendar/selfsched?sstoken=UUtYVm5mOVkxUVRNfGRlZmF1bHR8ZmJjZmRiMzU4ODA0NDAyYTYzOTZiZjNjY2Y2ZDQwODk
