miniaturadaimagem | direita A potência estatística de um teste de hipóteses binário é a probabilidade de que o teste rejeite corretamente a hipótese nula () quando uma hipótese alternativa () é verdadeira. A potência estatística vai de 0 a 1. Conforme a potência estatística aumenta, a probabilidade de cometer um erro (especificamente um erro de tipo II) diminui, sendo o erro de tipo II e a potência estatística . Por exemplo, se um experimento 1 tem potência estatística igual a 0,7 e um experimento 2 tem potência estatística igual a 0,95, então, há uma probabilidade maior de que o experimento 1 tenha um erro de tipo II do que o experimento 2, sendo o experimento 2 mais confiável do que experimento 1 devido à redução da probabilidade de um erro de tipo II. Pode ser equivalentemente pensada com a probabilidade de aceitar a hipótese alternativa () quando ela é verdadeira — isto é, a habilidade que um teste tem de detectar um efeito específico, quando o efeito específico realmente existe, ou seja:Se não for uma igualdade, mas, em vez disto, simplesmente a negação de (por exemplo, com para algum parâmetro de população não observado , temos simplesmente ), a potência não pode ser calculada a não ser que as probabilidades sejam conhecidas para todos os valores possíveis do parâmetro que violam a hipótese nula. Assim, neste caso, geralmente se fala da potência de um teste contra uma hipótese alternativa específica.

Conforme a potência aumenta, há uma probabilidade decrescente de um erro de tipo II (falso negativo), também chamada de taxa de falso negativo (), já que a potência é igual a . Um conceito similar é a probabilidade de erro de tipo I, também chamada de taxa de falso positivo ou nível de um teste sob a hipótese nula.

A análise de potência pode ser usada para calcular o tamanho de amostra mínimo exigido de modo que alguém tenha uma probabilidade razoável de detectar um efeito de um dado tamanho. Por exemplo, "quantas vezes devo jogar uma moeda para concluir que ela é manipulada por um certo montante?". A análise de potência também pode ser usada para calcular o tamanho de efeito mínimo que será provavelmente detectado em um estudo que usa uma amostra de um dado tamanho. Além disto, o conceito de potência é usado para fazer comparações entre diferentes procedimentos de testes estatísticos, por exemplo, entre um teste paramétrico e um teste não paramétrico da mesma hipótese.

Um conceito semelhante, mas de certa forma diferente é a sensibilidade estatística, que mede a probabilidade de um dado teste oferecer o resultado correto, por exemplo, a probabilidade que um teste para determinar se um paciente tem uma doença particular tem de reconhecer corretamente a doença.

Plano de fundo Testes estatísticos usam dados de amostras para avaliar ou fazer inferências sobre uma população estatística. Na configuração concreta de uma comparação entre duas amostras, o objetivo é avaliar se os valores médios de algum atributo obtidos para indivíduos nas duas subpopulações diferem entre si. Por exemplo, para testar a hipótese nula de que as pontuações médias de homens e mulheres em um exame não diferem entre si, retiram-se amostras de homens e mulheres, aplica-se o exame e a pontuação média de um grupo é comparada àquela do outro grupo usando um teste estatístico, tal como o teste Z biamostral. A potência do teste é a probabilidade de que o teste encontre um diferença estatisticamente significante entre homens e mulheres, como uma função do tamanho da diferença verdadeira entre aquelas duas populações.

Fatores que influenciam a potência

A potência estatística pode depender de um número de fatores. Alguns fatores podem ser específicos de uma situação de teste particular, mas, pelo menos, a potência quase sempre depende dos seguintes três fatores:

O critério de significância estatística usado no teste; A magnitude do efeito de interesse na população; O tamanho da amostra usada para detectar o efeito.

Um critério de significância é uma afirmação de quão improvável um resultado positivo deve ser, se a hipótese nula de nenhum efeito for verdadeira, para que a hipótese nula seja rejeitada. Os critérios mais comumente usados são probabilidades de 0,05 (5% ou 1 em 20), 0,01 (1% ou 1 em 100) e 0,001 (0,1% ou 1 em 1.000). Se o critério for igual a 0,05, a probabilidade de que os dados impliquem um efeito no mínimo tão grande quanto o efeito observado quando a hipótese nula é verdadeira deve ser menor do que 0,05 para que a hipótese nula ou de nenhum efeito seja rejeitada. Uma maneira fácil de aumentar a potência de um teste pode ser conduzir um teste menos conservador, usando um critério de significância maior, por exemplo, 0,10 em vez de 0,05. Isto aumenta a chance de rejeição da hipótese nula (isto é, obtendo um resultado estatisticamente significante) quando a hipótese nula é falsa, ou seja, reduz o risco de um erro de tipo II (falso negativo ao dizer se um efeito existe). No entanto, também aumenta o risco de obter um resultado estatisticamente significante (isto é, rejeitando a hipótese nula) quando a hipótese nula não é falsa, ou seja, aumenta o risco de um erro de tipo I (falso positivo).

A magnitude do efeito de interesse na população pode ser quantificada nos termos de um tamanho de efeito, em que há maior potência para detectar efeitos maiores. Um tamanho de efeito pode ser um valor direto da quantidade de interesse ou pode ser uma medida padronizada que também responde pela variabilidade na população. Por exemplo, em uma análise que compara os valores observadores entre uma população tratada e uma população de controle, a diferença entre as médias dos valores observadores seria uma estimativa direta do tamanho de efeito, enquanto , em que é o desvio padrão comum dos resultados nos grupos tratados e de controle, seria um estimativa padronizada do tamanho de defeito. Se construído apropriadamente, um tamanho de efeito padronizado, junto com o tamanho da amostra, determinará completamente a potência. Um tamanho de efeito não padronizado (direto) raramente será suficiente para determinar a potência, já que não contém informação sobre a variabilidade nas medições.

O tamanho da amostra determina a quantidade de erro de amostragem inerente ao resultado de um teste. Com as outras coisas sendo iguais, é mais difícil detectar efeitos em amostras menores. Aumentar o tamanho da amostra é frequentemente a maneira mais fácil de aumentar a potência estatística de um teste. A intensidade com que um aumento no tamanho da amostra se traduz em maior potência é uma medida da eficiência do teste — por exemplo, o tamanho de amostra exigida para uma dada potência.

A precisão com que os dados são medidos também influencia a potência estatística. Consequentemente, a potência pode ser frequentemente aumentada ao reduzir o erro de medida nos dados. Um conceito relacionado diz respeito a melhorar a "confiabilidade" da medida avaliada.

O desenho de um experimento ou de um estudo de observação frequentemente influencia a potência. Por exemplo, em uma situação de teste biamostral com um dado tamanho de amostra total , é ótimo ter números iguais de observações a partir das duas populações comparadas (desde que as variâncias nas duas populações sejam as mesmas). Na análise de regressão e na análise de variância, há teorias extensivas e estratégias práticas para aumentar a potência baseadas em configurar otimamente os valores das variáveis independentes no modelo.

Interpretação

Ainda que não haja padrões formais para potência (às vezes referida como ), a maioria dos pesquisadores avalia a potência de seus testes usando como um padrão para adequação. Esta convenção implica um tradeoff de quatro a um entre risco e risco ( é a probabilidade de um erro de tipo II e é a probabilidade de um erro de tipo I, sendo 0,2 e 0,05 valores convencionais para e ). Entretanto, há momentos em que esta ponderação 4 a 1 será inapropriada. Em medicina, por exemplo, testes são frequentemente desenhados de modo que nenhum falso negativo (erro de tipo II) seja produzido. Mas isto inevitavelmente aumenta o risco de se obter um falso positivo (erro de tipo I). O raciocínio por trás disto é que é melhor dizer a um paciente saudável "podemos ter encontrado algo — vamos fazer mais um teste" do que dizer a um paciente doente "está tudo bem".

A análise de potência é apropriada quando a preocupação é com a rejeição correta da hipótese nula falsa. Em muitos contextos, a questão é menos sobre determinar se há ou não há uma diferença e mais sobre obter uma estimativa mais refinada do tamanho de efeito da população. Por exemplo, se estivermos esperando uma correlação de população entre inteligência e desempenho no trabalho de aproximadamente 0,50, um tamanho de amostra igual a 20 nos dará uma potência igual a aproximadamente 80% (, bicaudal) para rejeitar a hipótese nula de correlação zero. Entretanto, ao fazer este estudo, estamos provavelmente mais interessados em saber se a correlação é igual a 0,30; 0,60 ou 0,50. Neste contexto, precisaríamos de um tamanho de amostra muito maior a fim de reduzir o intervalo de confiança de nossa estimativa a um intervalo aceitável para nossos propósitos. Técnicas semelhantes àqueles empregadas em análise de potência tradicional podem ser usadas para determinar o tamanho da amostra exigido para que a amplitude do intervalo de confiança seja menor do que um dado valor.

Muitas análises estatísticas envolvem a estimação de várias quantidades desconhecidas. Em casos simples, todas estas quantidades exceto uma são parâmetros incômodos. Nesta configuração, a única potência relevante diz respeito à única quantidade que se submeterá à inferência estatística formal. Em algumas configurações, particularmente, se os objetivos forem mais "exploratórios", pode haver uma série de quantidades de interesse na análise. Por exemplo, em uma análise de regressão múltipla, podemos incluir várias covariáveis de interesse potencial. Em situações tal como esta em que várias hipóteses estão sob consideração, é comum que as potências associadas com diferentes hipóteses difiram entre si. Por exemplo, em um análise de regressão múltipla, a potência de detectar um efeito de um dado tamanho está relacionada com a variância da covariável. Já que diferentes covariáveis terão diferentes variâncias, suas potências diferirão da mesma forma.

Qualquer análise estatística envolvendo múltiplas hipóteses está sujeita à inflação da taxa de erro de tipo I se medidas apropriadas não forem tomadas. Tais medidas tipicamente envolvem aplicar um limiar mais elevado de estringência para rejeitar uma hipótese a fim de compensar para as múltiplas comparações sendo feitas (por exemplo, como no método de Bonferroni). Nesta situação, a análise de potência deve refletir a abordagem de múltiplos testes a ser usada. Assim, por exemplo, um dado estudo pode ter uma boa potência para detectar um certo tamanho de efeito quando apenas um teste é feito, mas o mesmo tamanho de efeito pode ter uma potência muito menor se vários testes forem realizados.

Também é importante considerar a potência estatística de um teste de hipóteses quando se interpretam seus resultados. A potência de um teste é a probabilidade de rejeitar corretamente a hipótese nula quando ela é falsa. A potência de um teste é influenciada pela escolha do nível de significância para o teste, o tamanho do efeito sendo medido e a quantidade de dados disponível. Um teste de hipóteses pode falhar em rejeitar a hipótese nula, por exemplo, se uma diferença verdadeira existe entre duas populações comparadas entre si por um teste t, mas o efeito é reduzido e o tamanho da amostra é pequeno demais para que distinga o efeito de uma probabilidade aleatória. Muitos ensaios clínicos, por exemplo, têm baixa potência estatística para detectar diferenças em efeitos adversos dos tratamentos, já que tais efeitos podem ser raros e o número de pacientes afetados pequeno.

Análise a priori versus análise post hoc