Entropia krzyżowa – wartość używana w teorii informacji. Wykorzystywana do oceny nietrafności rozkładu względem drugiego rozkładu hipotetycznie prawdziwego.
Definicja Wzór na entropię krzyżową dyskretnej zmiennej losowej o zbiorze wartości i zdefiniowanych na nich rozkładach prawdopodobieństw i :
Interpretując entropię krzyżową jako miarę nietrafności, za przyjmuje się rozkład traktowany jako prawdziwy, a za rozkład oceniany.
Własności Ponieważ
entropię krzyżową można interpretować jako sumę entropii dla rzeczywistego rozkładu prawdopodobieństwa oraz miary dywergencji Kullbacka-Leiblera między i :
Traktując entropię krzyżową jako nietrafność względem można traktować ją jako sumę nietrafności związanej z niepewnością i nietrafności związanej z błędem względem .
Zobacz też
perpleksja
Przypisy
Kategoria:Teoria informacji