Entropia Rényi'ego

Prowadzący: Piotr Migdał

Zadania kwalifikacyjne
Kategorie: matematyka fizyka

(uwaga: 10 czerwca dodałem kilka linków do zadań i komentarzy co do ich ważności; ale treść zadań taka sama)

Opis

Filozof może się zadowolić tym, że "wie, że nic nie wie".
Fizyk zaś potrzebuje wiedzieć ile nie wie.

Pojęcie entropii ma swoje źródło w termodynamice i jest związane z tym jak bardzo nie znamy dokładnego mikrostanu układu (tj. położenia i pędu każdej cząstki). Tylko gdy wiemy o nim wszystko, możemy w pełni wykorzystać jego energię, przekształcając ją na inne formy. Gdy nie - część energii pozostaje niejako uwięziona.

Entropia jest równie cenna w teorii informacji - pozwala ściśle zmierzyć jak dobrze możemy skompresować daną wiadomość oraz jak bardzo możemy niwelować szum przy jej przesyłaniu. Przydaje się ona również jako miara losowości i korelacji w różnych narzędziach statystycznych.

O ile entropia jest używana w języku potocznym jako chaos i nieuporządkowanie, to sama wielkość (a konkretniej, entropia Shannona) jest ściśle określonym pojęciem:

\(H = \sum_{i=1}^{n} p_i \log \left(\tfrac{1}{p_i} \right)\)

My jednak zajmiemy się pewnych uogólnieniem, entropią Rényi'ego:

\(H_\alpha = \frac{1}{1-\alpha}\log\left( \sum_{i=1}^n p_i^\alpha \right)\)

Entropia Rényi'ego przydaje się w:

  • liczenia niepewności tam, gdzie nie chcemy (lub nie możemy!) skorzystać z wariancji.
  • liczeniu wymiaru fraktalnego,
  • szacowaniu różnorodności populacji w ekologii,
  • parametryzacji nierówności społecznych,
  • lepszej zasadzie nieoznaczoności,
  • do oszacowania entropi Shannona. 

Wymagania

Na zajęciach będziemy zarówno dowodzić jej własności, jak i pokazywać zastosowania (część - na kartce, część - na komputerze). Warszaty mat/fiz - czyli zarówno będziemy korzystać z nierówności Jensena, jak i machać rękami starając się wyciągać fizyczne wnioski. 

Wymagane umiejętności zostaną sprawdzone w zadaniach. Ale będą nimi:

  • potrafić operować na logarytmie,
  • podstawy entropii Shannona (patrz - linkowane rozdziały w sekcji poniżej),
  • umieć różniczkować,
  • wiedzieć do to jest całka \(\int f(x) dx\) (ale nie będziemy liczyć trudnych całek).

Przydatne rzeczy

Czyli gdzie zaczynać swoją przygodę z entropią.