En estadística, el teorema de Rao-Blackwell, de vegades anomenat teorema de Rao-Blackwell-Kolmogorov, és un resultat que caracteritza la transformació d'un estimador arbitràriament cru en un estimador que és òptim segons el criteri d'error quadràtic mitjà o qualsevol d'una varietat de criteris similars.
El teorema de Rao-Blackwell estableix que si és qualsevol tipus d'estimador d'un paràmetre , aleshores l'expectativa condicional de donat , on és una estadística suficient, normalment és un millor estimador de , i mai és pitjor. De vegades es pot construir molt fàcilment un estimador molt rudimentari i, a continuació, avaluar aquest valor esperat condicional per obtenir un estimador que sigui òptim en diversos sentits.
El teorema rep el nom de CR Rao i David Blackwell. El procés de transformar un estimador utilitzant el teorema de Rao-Blackwell es pot anomenar Rao-Blackwellització. L'estimador transformat s'anomena estimador de Rao-Blackwell.
Definicions Un estimador és una variable aleatòria observable (és a dir, una estadística) que s'utilitza per estimar una quantitat no observable. Per exemple, potser no es pot observar l'alçada mitjana de tots els estudiants masculins d'alguna universitat, però sí que es poden observar les altures d'una mostra aleatòria de 40 d'ells. L'alçada mitjana d'aquests 40 —la "mitjana de la mostra"— es pot utilitzar com a estimador de la "mitjana de la població" no observable. Una estadística suficient és una estadística calculada a partir de dades per estimar algun paràmetre per a la qual cap altra estadística que es pugui calcular a partir de les dades X proporciona informació addicional sobre Es defineix com una variable aleatòria observable tal que la distribució de probabilitat condicional de totes les dades observables donat no depèn del paràmetre no observable , com ara la mitjana o la desviació estàndard de tota la població de la qual provenen les dades es va prendre. En els exemples més citats, les quantitats "no observables" són paràmetres que parametritzen una família coneguda de distribucions de probabilitat segons les quals es distribueixen les dades.
En altres paraules, una estadística suficient per a un paràmetre és una estadística tal que la probabilitat condicional de les dades , donat , no depèn del paràmetre .
Un estimador de Rao-Blackwell d'una quantitat no observable és el valor esperat condicional
of some estimator given a sufficient statistic . Call the "original estimator" and the "improved estimator". It is important that the improved estimator be observable, i.e. that it does not depend on . Generally, the conditional expected value of one function of these data given another function of these data does depend on , but the very definition of sufficiency given above entails that this one does not.
L'error quadràtic mitjà d'un estimador és el valor esperat del quadrat de la seva desviació respecte a la quantitat no observable que s'estima. .
El teorema Versió d'error quadràtic mitjà Un cas del teorema de Rao-Blackwell estableix:
L'error quadràtic mitjà de l'estimador de Rao-Blackwell no supera el de l'estimador original.
En altres paraules,
Les eines essencials de la demostració, a més de la definició anterior, són la llei de l'expectativa total i el fet que per a qualsevol variable aleatòria , no pot ser inferior a . Aquesta desigualtat és un cas de la desigualtat de Jensen, tot i que també es pot demostrar que es desprèn immediatament del fet que es menciona amb freqüència que
Més precisament, l'error quadràtic mitjà de l'estimador de Rao-Blackwell té la següent descomposició
Des de , el teorema de Rao-Blackwell segueix immediatament.
Generalització de pèrdues convexes La versió més general del teorema de Rao-Blackwell parla de la "pèrdua esperada" o funció de risc:
on la "funció de pèrdua" pot ser qualsevol funció convexa. Si la funció de pèrdua és doblement diferenciable, com en el cas de l'error quadràtic mitjà, aleshores tenim la desigualtat més nítida
Propietats L'estimador millorat és imparcial si i només si l'estimador original és imparcial, com es pot veure immediatament utilitzant la llei de l'expectativa total. El teorema es compleix independentment de si s'utilitzen estimadors esbiaixats o imparcials.
El teorema sembla molt feble: només diu que l'estimador de Rao-Blackwell no és pitjor que l'estimador original. A la pràctica, però, la millora sovint és enorme.
Exemples
Un exemple de distribució de Poisson
Les trucades telefòniques arriben a una centralita segons un procés de Poisson a una velocitat mitjana de λ per minut. Aquesta velocitat no és observable, però els números de trucades telefòniques que han arribat durant n períodes successius d'un minut. Es vol estimar la probabilitat e − λ que el següent període d'un minut passi sense trucades telefòniques.
Un estimador extremadament cru de la probabilitat desitjada és
és a dir, estima que aquesta probabilitat és 1 si no ha arribat cap trucada telefònica durant el primer minut i zero en cas contrari. Malgrat les limitacions aparents d'aquest estimador, el resultat donat per la seva Rao-Blackwellització és un estimador molt bo.
La suma
es pot demostrar fàcilment que és una estadística suficient per a λ, és a dir, la distribució condicional de les dades , depèn de λ només a través d'aquesta suma. Per tant, trobem l'estimador de Rao-Blackwell
Després de fer una mica d'àlgebra tenim
Com que el nombre total esperat de trucades que arriben durant els primers n minuts és n λ, potser no ens sorprendrà si aquest estimador té una probabilitat força alta (si n és gran, per WLLN, la mitjana mostral convergeix en probabilitat al paràmetre λ) de ser proper a
Així doncs és clarament un estimador molt millorat d'aquesta última quantitat. De fet, com que és complet i és imparcial, és l'estimador únic i no esbiaixat de la variància mínima segons el teorema de Lehmann-Scheffé.
Un exemple de distribució uniforme Suposem que es prenen n mostres positives independents d'una distribució uniforme amb un límit superior desconegut , és a dir, i l'objectiu és estimar aquest paràmetre Aquesta és una versió contínua (i per tant més simple) del problema del tanc alemany.
En aquest entorn, l'estadística de valor màxim és suficient, tal com s'ha donat , una mostra (aleatòria) hi seria igual, i les altres es distribuirien uniformement i independentment entre 0 i ; aquesta estadística també és completa.
Hi ha dos estimadors naturals per al límit superior , que milloren a mesura que n creix. El primer és el doble de la mitjana mostral. Això és imparcial (com que per a cada ), però no és necessàriament consistent; fins i tot pot ser inferior al màxim observat , i després clarament també inferior a Per tant, no pot ser òptim (és a dir, de menor variància).
El segon estimador natural és en si mateix, però és evidentment massa baix i, per tant, esbiaixat; intuïtivament, hauria d'estar "inflat". El factor pel qual es pot inflar per tal de ser imparcial es pot trobar utilitzant la distribució beta de les estadístiques d'ordre uniforme, però fer-ho només no té motivació i no té més garanties.
Aleshores podem aplicar el procediment de Rao-Blackwell utilitzant el primer dels suggeriments anteriors com a estimador brut. De fet, com que el procediment és lineal, fins i tot podem utilitzar - seria un mal estimador per si mateix (si no utilitza tota la informació, el seu error no millora amb n ), però això està perfectament bé per a la Rao-Blackwellització. Passar de la mitjana de les mostres a triar-ne només una manté la mateixa lògica, només que la plasma en el llenguatge de les probabilitats en lloc de les expectatives.
Aleshores, quina és l'expectativa condicional de donat Té una probabilitat d'1/ n que sigui el valor màxim observat si mateix, altrament es distribueix uniformement en i per tant té una expectativa de Per tant, finalment, l'estimador de Rao-Blackwell és
Aquesta és, efectivament, la versió correctament inflada de esperàvem (inflant-se cada cop menys a mesura que creix el nombre de mostres n ). És imparcial i, de nou, pel teorema de Lehmann-Scheffé, és l'estimador (únic) de mínima variància d'aquest tipus.
Idempotència La Rao-Blackwellització és una operació idempotent. Utilitzar-la per millorar l'estimador ja millorat no obté una millora addicional, sinó que simplement retorna com a sortida el mateix estimador millorat.
Completesa i variància mínima de Lehmann – Scheffé Si l'estadística de condicionament és completa i suficient, i l'estimador inicial és inesbiaixat, aleshores l'estimador de Rao – Blackwell és l'únic "millor estimador inesbiaixat": vegeu el teorema de Lehmann-Scheffé.
Un exemple d'una millora de Rao-Blackwell millorable, quan s'utilitza una estadística mínima suficient que no és completa, va ser proporcionat per Galili i Meilijson el 2016. Sigui sigui una mostra aleatòria d'una distribució uniforme a escala amb mitjana desconeguda i paràmetre de disseny conegut En la recerca dels "millors" estimadors imparcials possibles per a és natural considerar com a estimador inicial (cru) sense biaix per a i després intentar millorar-ho. Des de llavors no és una funció de , l'estadística mínima suficient per a (on i ), es pot millorar utilitzant el teorema de Rao-Blackwell de la següent manera:
Tanmateix, es pot demostrar que el següent estimador no esbiaixat té una variància més baixa:
I, de fet, es podria millorar encara més si s'utilitza el següent estimador:
El model és un model a escala. Aleshores es poden derivar estimadors equivariants òptims per a funcions de pèrdues que són invariants.
Referències
Categoria:Estadística