Kullbackova nerovnost je v teorii informace a statistice spodní mez Kullbackovy–Leiblerovy divergence vyjádřená pomocí poměrové funkce teorie velkých odchylek. Pokud P a Q jsou rozdělení pravděpodobnosti na reálné ose taková, že P je absolutně spojitá funkce vzhledem ke Q (píšeme P<<Q) a jejich první momenty existují, pak
kde je poměrová funkce, tj. konvexní transformace kumulantové vytvořující funkce rozdělení , a je první moment rozdělení
Důsledkem Kullbackovy nerovnosti je Cramérova–Raova mez.
Důkaz Nechť P a Q jsou rozdělení pravděpodobnosti (míry) na reálné ose, jejichž první momenty existují, a P<<Q.
Uvažujme přirozenou rodinu exponenciálních rozdělení rozdělení Q danou vztahem
pro každou měřitelnou množinu A, kde je momentová vytvořující funkce rozdělení Q. Přitom Q0=Q. Pak
Gibbsova nerovnost říká, že , z čehož plyne
Zjednodušením pravé strany dostáváme pro každé reálné θ, pro něž
kde je první moment neboli střední hodnota rozdělení P, a se nazývá kumulantová vytvořující funkce. Použitím suprema uzavřeme proces konvexní transformace a dostaneme vzorec pro poměrovou funkci:
Důsledek: Cramérova–Raova mez
Použití Kullbackovy nerovnosti Nechť Xθ je rodina rozdělení pravděpodobnosti na reálné ose indexované reálným parametrem θ vyhovující určitým podmínkám regularity. Pak
kde je konvexní transformace kumulantové vytvořující funkce rozdělení a je prvním momentem
Levá strana Postupnými úpravami levé strany dostáváme:
což je polovina Fisherovy informace parametru θ.
Pravá strana Pravou stranu nerovnosti lze upravit takto:
Tohoto suprema je dosaženo pro t=τ, kde první derivace kumulantové vytvořující funkce je přičemž , takže
Navíc
Dosazení do původní nerovnosti Máme:
což lze upravit na
Odkazy
Reference
Související články Kullbackova–Leiblerova divergence Cramérova–Raova mez Fisherova informace Teorie velkých odchylek Konvexní transformace Poměrová funkce Momentová vytvořující funkce
Kategorie:Teorie informace Kategorie:Nerovnosti ve statistice Kategorie:Metody odhadu