Teoria informacji bada zagadnienia takie jak: mierzenie ilości informacji w ciągu danych, ograniczenia na przetwarzanie danych czy ograniczenia komunikacji. Teoria informacji powstała by odpowiedź na pytania takie jak: jaki jest optymalny kompresor dla danego typu danych, albo jak szybko możemy przesyłać informacje przez kanał komunikacji.
Przedmiot zaczniemy od przedstawienia klasycznych zagadnień teorii informacji. Następnie skupimy się na zastosowaniu tych zagadnień: pokażemy dolne i górne granice dla kompresji danych, co więcej pokażemy, że wiele współcześnie stosowanych metod kompresji, pomimo faktu, że wydają się tylko heurystykami, ma teoretyczne podstawy (omówimy zarówno bezstratne jak i stratne algorytmy).
Oprócz klasycznych wyników pokażemy też te bardziej współczesne, np. jak teoria informacji pomaga uzyskać dolne granice dla uczenia maszynowego.
Wykład prowadzony będzie przez pierwszą połowę semestru.
Przedmiot jest niezależny (i rozłączny) od przedmiotu Kompresja Danych i można zaliczać oba przedmioty jednocześnie. W porównaniu do Kompresji Danych ten przedmiot jest nastawiony w o wiele większym stopniu na aspekty teoretyczne, np. gdy Kompresja Danych przedstawia szereg algorytmów kompresji i daje intuicje dlaczego działają, my pokażemy twierdzenia mówiące o skuteczności niektórych z nich.
###### Zagadnienia:
- Miary informacji: entropia, dywergencja, informacja wspólna, łańcuchy Markova, nierówność przetwarzania danych
- Kompresja bezstratna: kody o zmiennej długości, źródła ergodyczne, kodowanie uniwersalne
- Kompresja stratna: kompresja dźwięku i obrazu, transformata Karhunen–Loève, dyskretna transformata kosinusowa (DCT)
- Przepustowość kanałów komunikacji: twierdzenie Shannona–Hartley'a
- Inne zastosowania teorii informacji: uczenie maszynowe, generatory pseudolosowe
###### Wymagania wstępne:
Rachunek prawdopodobieństwa, Algebra
###### Literatura:
Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
David Salomon, Data Compression: The Complete Reference, Springer, 1998
Przedmiot będzie realizował część materiału z kursów innych uczelni, np.:
[Stanford](https://web.stanford.edu/class/ee376a/outline.html)
[MIT](https://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-441-information-theory-spring-2016/lecture-notes/index.htm)
[UChicago](https://ttic.uchicago.edu/~madhurt/courses/infotheory2017/index.html)
