thumb|200x200px|Entropia zmiennej losowej X przyjmującej wartość 0 lub 1. Entropia binarna – w teorii informacji jest zdefiniowana jako entropia zmiennej losowej X, która przyjmuje tylko dwie wartości: 0 lub 1.
Jeśli zachodzi z prawdopodobieństwem a zachodzi z prawdopodobieństwem to entropia Shannona wynosi:
gdzie: jest przyjęte jako 0. Podstawą logarytmu zwykle jest 2. Zobacz logarytm binarny.
W przypadku kiedy entropia binarna przyjmuje maksymalną wartość i wynosi 1 bit.
Funkcja entropii binarnej w odróżnieniu od entropii Shannona przyjmuje jako argument liczbę rzeczywistą zamiast rozkładu prawdopodobieństwa
Pochodna Pochodna funkcji entropii binarnej może być zapisana za pomocą funkcji logitowej:
Zobacz też entropia (teoria informacji)
Linki zewnętrzne David J.C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. .
Kategoria:Teoria informacji