Teoria informacji bada zagadnienia takie jak:
* mierzenie ilości informacji w ciągu danych,
* ograniczenia na przetwarzanie danych
* ograniczenia komunikacji.
Powstała jako próba odpowiedzi na pytania typu:
* jaki jest optymalny kompresor dla danego typu danych?
* jak szybko możemy przesyłać informację przez kanał komunikacji?
Pytania te dość szybko doprowadziły do dużo bardziej ogólnych kwestii, typu:
* jak mierzyć jakość kompresora?
* jak mierzyć prędkość przesyłu danych przez kanał komunikacji?
Podejście oferowane przez teorię informacji różni się od tego oferowanego przez "analizę najgorszego przypadku": w dużo większym stopniu skupia się ona na analizie procesu losowego i przetwarzania takiego procesu. W szczególności część metod i narzędzi ma swe korzenie w rachunku prawdopodobieństwa oraz w statystyce. Podejście to okazuje się skuteczne w praktyce — narzędzia i pojęcia stworzone przez teorię informacji są powszechnie używane przy analizie praktycznie implementowanych rozwiązań, takich jak: kompresory bezstratne, korekcja błędów, przetwarzanie sygnałów…
Z drugiej strony, narzędzia teorii informacji mogą służyć jako alternatywna spojrzenie na podstawy statystyki.
Przedmiot jest niezależny (i rozłączny) od przedmiotu Kompresja Danych. W porównaniu do Kompresji Danych ten przedmiot jest nastawiony w o wiele większym stopniu na aspekty teoretyczne, np. gdy Kompresja Danych przedstawia szereg algorytmów kompresji i daje intuicje, dlaczego działają, my zdefiniujemy, co oznacza, że kompresor jest skuteczny i pokażemy twierdzenia mówiące o skuteczności poszczególnych kompresorów.
Przedmiot ma niewielkie przecięcie z przedmiotem Kody korekcyjne, usunięcie go jest trudne w reżimie wybieralności przedmiotów.
### Zagadnienia:
* Miary informacji: entropia, dywergencja, informacja wspólna, łańcuchy Markowa, nierówność przetwarzania danych
* Kompresja bezstratna: kody o zmiennej długości, źródła ergodyczne, kodowanie uniwersalne
* Przepustowość kanałów komunikacji: twierdzenie Shannona. Kody korekcyjne w modelu probabilistycznym. Kody polaryzujące.
* Rozkłady ciągłe — miary informacji (entropia różnicowa), kodowanie w sygnałach ciągłych.
* Definicja i przykłady kompresji uniwersalnej: LZ77, kompresja gramatykowa.
* Kompresja stratna: kwantyzacja, kompresja dźwięku i obrazu, transformata Karhunen–Loève, dyskretna transformata kosinusowa (DCT)
* Złożoność Kołmogorowa, związki z entropią.
### Wymagania wstępne:
Rachunek prawdopodobieństwa (mile widziane elementy statystyki), Analiza matematyczna, Algebra (wystarczy część dotycząca algebry liniowej).
### Literatura:
1. Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
2. Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
3. David Salomon, Data Compression: The Complete Reference, Springer, 1998
