miniaturadaimagem|Ilustração. Em estatística, o modelo linear generalizado (MLG) é uma generalização flexível da regressão linear ordinária que permite variáveis de resposta que têm modelos de distribuição de erro diferentes de uma distribuição normal. O MLG generaliza a regressão linear permitindo que o modelo linear seja relacionado à variável de resposta por meio de uma função de ligação e permitindo que a magnitude da variância de cada medição seja uma função de seu valor previsto.
Modelos lineares generalizados foram formulados por John Nelder e Robert Wedderburn como forma de unificar vários outros modelos estatísticos, incluindo a regressão linear, a regressão logística e a regressão de Poisson. Eles propuseram um método de mínimos quadrados reponderados iterativamente para estimativa de máxima verossimilhança dos parâmetros do modelo. A estimativa de verossimilhança máxima continua popular e é o método padrão em muitos pacotes de computação estatística. Outras abordagens foram desenvolvidas, incluindo abordagens bayesianas e ajustes de mínimos quadrados a respostas de variância estabilizada.
Intuição A regressão linear ordinária prevê o valor esperado de uma determinada quantidade desconhecida (a variável de resposta, uma variável aleatória) como uma combinação linear de um conjunto de valores observados (preditores). Isso implica que uma mudança constante em um preditor leva a uma mudança constante na variável de resposta (ou seja, um modelo de resposta linear). Isso é apropriado quando a variável de resposta pode variar, em uma boa aproximação, indefinidamente em qualquer direção, ou mais geralmente para qualquer quantidade que varia apenas por uma quantidade relativamente pequena em comparação com a variação nas variáveis preditivas, por exemplo, alturas humanas.
No entanto, essas suposições são inadequadas para alguns tipos de variáveis de resposta. Por exemplo, nos casos em que se espera que a variável de resposta seja sempre positiva e variando em um intervalo amplo, variações constantes na entrada levam a variações geométricas (ou seja, exponenciais) em vez de constantes, na saída. Por exemplo, suponha que um modelo de previsão linear aprenda com alguns dados (talvez principalmente extraídos de grandes praias) que uma diminuição de 10 graus na temperatura levaria a uma redução de 1000 pessoas visitando a praia. É improvável que esse modelo se generalize bem para praias de tamanhos diferentes. Mais especificamente, o problema é que se você usar o modelo para prever o novo número de pessoas presentes com uma queda de temperatura de 10 para uma praia que recebe regularmente 50 banhistas, você preveria um valor impossível de -950 pessoas presentes. Logicamente, um modelo mais realista poderia prever uma taxa de variação constante para a quantidade de pessoas presentes na praia (por exemplo, um aumento de 10 graus leva a uma duplicação da frequência à praia e uma queda de 10 graus leva a uma redução pela metade). Esse modelo é denominado modelo de resposta exponencial (ou modelo log-linear, uma vez que se prevê que o logaritmo da resposta varie linearmente).
Da mesma forma, um modelo que prevê uma probabilidade de fazer uma escolha sim/não (uma variável de Bernoulli) é ainda menos adequado como um modelo de resposta linear, uma vez que as probabilidades são limitadas em ambas as extremidades (devem estar entre 0 e 1). Imagine, por exemplo, um modelo que prevê a probabilidade de uma determinada pessoa ir à praia em função da temperatura. Um modelo razoável pode prever, por exemplo, que uma mudança em 10 graus torna uma pessoa duas vezes mais ou menos propensa a ir à praia. Mas o que "duas vezes mais provável" significa em termos de probabilidade? Não pode significar literalmente dobrar o valor da probabilidade (por exemplo, 50% torna-se 100%, 75% torna-se 150%, etc.). Em vez disso, são as chances que estão dobrando: das chances de 2:1/ para as chances de 4:1, para as chances de 8:1, etc. Esse modelo é um modelo de chances logarítmicas ou logístico.
Os modelos lineares generalizados cobrem todas essas situações, permitindo que as variáveis de resposta tenham distribuições arbitrárias (em vez de simplesmente distribuições normais) e que uma função arbitrária da variável de resposta (a função de ligação) varie linearmente com os preditores (em vez de assumir que o a própria resposta deve variar linearmente). Por exemplo, o caso acima do número previsto de frequentadores da praia normalmente seria modelado com uma distribuição de Poisson e uma ligação logarítmica, enquanto o caso da probabilidade prevista de frequência à praia seria normalmente modelado com uma distribuição de Bernoulli (ou distribuição binomial, dependendo exatamente de como o problema é formulado) e uma função de ligação de chances logarítmicas (ou logit).
Visão geral Em um modelo linear generalizado (MLG), assume-se que cada resultado Y das variáveis dependentes é gerado a partir de uma distribuição particular em uma família exponencial, uma grande classe de distribuições de probabilidade que inclui as distribuições normal, binomial, Poisson e gama, entre outras. A média, μ, da distribuição depende das variáveis independentes, X, por meio de:
em que E(Y|X) é o valor esperado de Y condicional em X; Xβ é o preditor linear, uma combinação linear de parâmetros desconhecidos β; g é a função de ligação.
Neste quadro, a variância é normalmente uma função, V, da média:
É conveniente se V seguir de uma família exponencial de distribuições, mas pode ser simplesmente que a variância seja uma função do valor previsto.
Os parâmetros desconhecidos, β, são normalmente estimados com máxima verossimilhança, máxima quase-verossimilhança ou técnicas bayesianas.
Componentes do modelo O MLG consiste de três elementos:
Uma família exponencial de distribuições de probabilidade. Um preditor linear Uma função de ligação tal que
Distribuição de probabilidade Uma família exponencial superdispersa de distribuições é uma generalização de uma família exponencial e o modelo de dispersão exponencial de distribuições e inclui as famílias de distribuições de probabilidade, parametrizadas por e , cujas funções de densidade f (ou função massa de probabilidade, no caso de uma distribuição discreta) podem ser expressas na forma
O parâmetro de dispersão, , normalmente é conhecido e geralmente está relacionado à variância da distribuição. As funções , , , , e são conhecidas. Muitas distribuições comuns estão nesta família, incluindo a normal, exponencial, gama, de Poisson, de Bernoulli e (para um número fixo de tentativas) binomial, multinomial e binomial negativa.
Para escalares e (denotados e neste caso), isso se reduz a
está relacionado à média da distribuição. E se é a função identidade, então considera-se que a distribuição está em sua forma canônica (ou forma natural). Observe que qualquer distribuição pode ser convertida para a forma canônica reescrevendo como e então aplicando a transformação . Sempre é possível converter em termos da nova parametrização, mesmo que não seja uma função de um para um; veja comentários na página sobre famílias exponenciais. Se, além disso, é a identidade e é conhecido então é chamado de parâmetro canônico (ou parâmetro natural) e está relacionado à média por meio de
Para escalares e , isso se reduz a
Nesse cenário, pode-se mostrar que a variância da distribuição é, Chapter 2.
Para escalares e , isso se reduz a
Preditor linear O preditor linear é a quantidade que incorpora as informações sobre as variáveis independentes no modelo. O símbolo η (a legra grega "eta") denota um preditor linear. Ele está relacionado ao valor esperado dos dados por meio da função de ligação.
O valor de η é expresso como combinação linear (por isso, o nome "linear") de parâmetros desconhecidos β. Os coeficientes da combinação linear são representados como a matriz das variáveis independentes X. Assim, η pode ser expresso como
Função de ligação A função de ligação fornece o relacionamento entre o preditor linear e a média da função de distribuição. Existem muitas funções de ligação comumente usadas e sua escolha é baseada em várias considerações. Sempre há uma função de ligação canônica bem definida que é derivada da exponencial da função densidade da resposta. No entanto, em alguns casos, faz sentido tentar combinar o domínio da função de ligação com a imagem da média da função de distribuição ou usar uma função de ligação não canônica para fins algorítmicos, por exemplo, regressão probit bayesiana.
Ao usar uma função de distribuição com um parâmetro canônico , a função de ligação canônica é a função que expressa em termos de , ou seja, . Para as distribuições mais comuns, a média é um dos parâmetros na forma padrão da função densidade da distribuição, e então é a função definida acima que leva a função densidade à sua forma canônica. Ao usar a função de ligação canônica, , o que permite que seja uma estatística suficiente para .
A seguir está uma tabela de várias distribuições de família exponencial de uso comum e os dados para os quais elas são normalmente usadas, junto com as funções de ligação canônicas e suas inversas (às vezes chamadas de função média, como feito aqui). +Distribuições comuns com usos típicos e funções de ligação canônicas Distribuição Suporte da distribuição Usos típicos Nome da ligação Função de ligação, Função média Normal real: Dados de resposta linear Identidade Exponencial real: Dados de resposta exponencial, parâmetros de escala Oposta da inversa Gama Gaussiana inversa real: Quadrado da inversa Poisson inteiros: contagem de ocorrências em quantidade fixa de tempo/espaço Log Bernoulli inteiros: resultado de ocorrência única sim/não Logit Binomial inteiros: contagem do número de ocorrências "sim" de N ocorrências sim/não Categórico inteiros: resultado da ocorrência única de K-way Vetor K de inteiros: , onde exatamente um elemento no vetor tem o valor 1 Multinomial K -vetor de inteiros: contagem de ocorrências de diferentes tipos (1. . K ) de N ocorrências totais de K -way No caso das distribuições exponencial e gama, o domínio da função de ligação canônica não é o mesmo que o intervalo permitido da média. Em particular, o preditor linear pode ser positivo, o que daria uma média negativa impossível. Ao maximizar a probabilidade, devem ser tomadas precauções para evitar isso. Uma alternativa é usar uma função de ligação não canônica.
No caso das distribuições de Bernoulli, binomial, categórica e multinomial, o suporte das distribuições não é do mesmo tipo de dados do parâmetro que está sendo predito. Em todos esses casos, o parâmetro previsto é uma ou mais probabilidades, ou seja, números reais no intervalo . O modelo resultante é conhecido como regressão logística (ou regressão logística multinomial no caso em que estão sendo previstos valores K-way em vez de binários).
Para as distribuições Bernoulli e binomial, o parâmetro é uma probabilidade única, indicando a probabilidade de ocorrência de um único evento. A distribuição Bernoulli ainda satisfaz a condição básica do modelo linear generalizado em que, embora um único resultado seja sempre 0 ou 1, o valor esperado será uma probabilidade com valor real, ou seja, a probabilidade de ocorrência de um "sim" (ou 1) como resultado. Da mesma forma, em uma distribuição binomial, o valor esperado é Np, ou seja, a proporção esperada de resultados "sim" será a probabilidade a ser prevista.
Para distribuições categóricas e multinomiais, o parâmetro a ser previsto é um vetor de K probabilidades, com a restrição adicional de que todas as probabilidades devem somar 1. Cada probabilidade indica a probabilidade de ocorrência de um dos K valores possíveis. Para a distribuição multinomial, e para a forma vetorial da distribuição categórica, os valores esperados dos elementos do vetor podem ser relacionados às probabilidades previstas de forma semelhante às distribuições binomial e de Bernoulli.
Ajuste