Testes de Hipóteses Estatísticas - Ciência e Negócios

A estatística possui uma área chamada de teste de hipóteses, que viabiliza verificar ou refutar uma hipótese existente acerca do comportamento de uma amostra de dados. Os testes de hipóteses são muito utilizados no meio acadêmico, mas têm grande valor se usados de forma adequada também no contexto corporativo.

Uma hipótese estatística, formalmente, é uma afirmação sobre alguma característica da população. Um teste de hipótese é o procedimento estatístico que permite rejeitar (ou não) esta afirmação, fornecendo indícios acerca do comportamento dos dados.

Nas empresas existem diversas crenças acerca de como as coisas acontecem e se relacionam. Formalizar estas crenças em hipóteses de negócio permite que sejam formuladas hipóteses estatísticas, as quais podem ser testadas e validadas (ou não) com o uso testes de hipóteses.

Porém, para que os resultados dos testes sejam corretos, é preciso conhecer os principais tipos de testes existentes e alguns conceitos. Assim o analista de dados poderá direcionar o teste correto a ser utilizado em cada hipótese.

Basicamente os passos para uma boa execução de testes de hipóteses são:

Definir uma hipótese de negócio;
Transformá-la em uma hipótese estatística;
Escolher o teste correto baseado nas características dos dados e no resultado esperado;
Transformar os dados para que estejam de acordo com o input exigido pelo teste escolhido;
Aplicar o teste de hipótese.

Quando utilizar testes de hipóteses?

Quando as tabelas dinâmicas do Excel já não são suficientes para que os resultados das análises sejam conclusivos é um bom indício de que já passou da hora de utilizar testes de hipóteses.

Um teste de hipótese auxilia para eliminar a incerteza que permanece mesmo após procedimentos de sumarização dos dados, como ocorre com o uso de tabelas dinâmicas dos softwares de planilhas eletrônicas.

Por exemplo, uma organização quer saber se os homens possuem salário superior às mulheres em um determinado cargo. A tabela dinâmica vai trazer o resultado, que pode ser expresso através da médias dos salários daquele cargo em cada gênero (masculino ou feminino). Porém, a média pode trazer uma diferença sutil entre os salários de homens e mulheres, o que acaba deixando no ar a dúvida inicial e nenhuma conclusão pode ser tomada.

Um teste de hipótese estatística é capaz de dizer (quando bem aplicado) que o salário das mulheres é de fato menor ou maior naquele caso, e que o resultado mostrado na média não é uma simples obra do acaso.

Como implementar os testes de hipóteses?

Bom, existem diversos softwares e linguagens de programação com implementações neste sentido.

Os próprios softwares de planilhas eletrônicas (como o Excel e o Google Planilhas) são exemplos.

É muito comum também utilizar softwares estatísticos “empacotados”, como SPSS, Minitab ou STATA, por exemplo.

Linguagens de programação como o Python e o R, porém, são as opções mais versáteis. Mas, de ambas, neste sentido o R se destaca, pois é uma linguagem que nasceu na estatística, e é muito forte em implementações para testes de hipóteses.

Mas antes de pensar na ferramenta de aplicação siga a leitura e mantenha o foco em entender os conceitos que envolvem o tema.

O que é um teste de hipótese?

Teste de hipótese é um procedimento estatístico capaz rejeitar ou não uma afirmação que representa uma igualdade sobre uma população (chamada de $H_0$ ). A decisão do teste é tomada com base na menor probabilidade tolerável de incorrer no erro tipo 1 (rejeitar H0, quando ela é verdadeira).

Moretin e Bussab (2017, p. 344) explicam que:

“O objetivo do teste estatístico de hipóteses é, então, fornecer uma metodologia que nos permita verificar se os dados amostrais trazem evidências que apoiem ou não uma hipótese (estatística) formulada. […] A ideia central deste procedimento é a de supor verdadeira a hipótese em questão e verificar se a amostra observada é ‘verossímil’ nessas condições.”

Hipótese nula e hipótese alternativa

Para transformar uma hipótese de negócio em uma hipótese estatística é preciso definir a hipótese nula ( $H_0$ ) e a hipótese alternativa ( $H_1$ ):

$H_0$ : a hipótese nula é a hipótese que está sendo testada.
$H_1$ : é a alternativa caso a hipótese nula seja rejeitada.

$H_0$ é uma afirmação expressa na forma de igualdade.

Já $H_1$ é uma afirmação que pode ser expressa de até três formas: $X>Y$ , $X<Y$ e $X=Y$ , sendo X e Y duas sentenças afirmativas.

Erro do teste

Todo teste estatístico está sujeito a erros. Os erros estatísticos que incorrem nos teste de hipóteses são chamados de Erro tipo 1 e Erro tipo 2.

Erro do Tipo I: rejeitar a hipótese nula $H_0$ quando ela é verdadeira.

Erro do Tipo II: não rejeitar a hipótese nula $H_0$ quando ela é falsa.

Decisão	Se H0 é verdadeira	Se H0 é falsa
Rejeitar H0	Erro do Tipo I	Nenhum erro
Não Rejeitar H0	Nenhum erro	Erro do Tipo II

Fonte.

Testes paramétricos e testes não paramétricos

Testes paramétricos assumem que os dados são distribuídos aleatoriamente a partir da população e que seguem uma distribuição normal.

Testes não paramétricos também assumem que os dados são aleatoriamente distribuídos a partir da população, mas não exigem que sigam uma distribuição normal.

Os testes não paramétricos, além de não exigirem “normalidade” na distribuição dos dados, também apresentam resultados melhores quando aplicados em amostras pequenas. Por esses motivos, em casos reais normalmente são os preferidos e mais adequados em testes de hipóteses.

A questão que permanece é como saber se o teste a ser escolhido é paramétrico ou não paramétrico?

A resposta é simples: se o dado a ser testado segue uma distribuição normal, então recomenda-se utilizar testes paramétricos; caso o dado não possua distribuição normal então utiliza-se testes não paramétricos.

Quando o dado é normalmente distribuído então alguns testes podem trazer inferências sobre intervalos, pois já se conhece a distribuição. Já os testes não paramétricos não se baseiam na distribuição dos dados.

Testar a normalidade de uma série de dado é bastante simples pela linguagem R. Uma das possiblidades é utilizar o teste Shapiro-Wilk por meio da função shapiro.test(). O teste possui hipótese nula ( $H_0$ ) de que o dado é normalmente distribuído, a qual recomenda-se ser rejeitada a um p-valor menor que 0,05. Em outras palavras, se o p-valor for maior que 0,05 então assumimos que o dado é normalmente distribuído e seguimos com testes paramétricos; caso contrário procuramos um teste adequado entre os não paramétricos.

Testes pareados e não pareados

Uma das variações dos testes de hipóteses diz respeito à forma pela qual a amostra é extraída. Se as amostras a serem comparadas são dependentes, então é correto executar um teste para dados pareados. Já se as amostras são independentes, então o melhor é utilizar um teste para dados não pareados.

Veja mais detalhes a seguir.

Teste de hipótese pareado

Em testes para dados pareados as amostras são dependentes. Aplicam-se, por exemplo, no caso das duas métricas que serão comparadas serem obtidas a partir do mesmo indivíduo, antes e depois de um tratamento.

Exemplo: após um colaborador receber aumento salarial por mérito sua produtividade melhora.
Explicação: para validar esta hipótese um teste pareado sobre as observações de produtividade deveria ser executado com duas amostras do mesmo colaborador, uma antes e outra depois da movimentação salarial por mérito.

Teste de hipótese não pareado

Em testes para dados não pareados os dados são coletados de indivíduos distintos e que pertencem a grupos também distintos. As amostras a serem testadas são independentes.

Exemplo: as avaliações de lideranças na área de TI são inferiores às avaliações na área de Recursos Humanos.
Explicação: para validar esta hipótese é necessário um teste não pareado sobre as notas dos líderes em cada área.

Vale ainda ressaltar que, em testes para dados pareados, obrigatoriamente o tamanho das amostras deve ser igual (afinal, as amostras devem ser “pares”). Já em testes não pareados os tamanhos das amostras podem ser diferentes, dependendo das características do teste a ser executado.

Qual teste utilizar em cada caso?! E funções no R para cada teste!

Existem diversos testes de hipótese e que cada um é mais adequado para um determinado tipo de situação.

Sendo assim, a tabela a seguir sintetiza as situações mais adequadas para utilizar alguns importantes testes estatísticos de hipóteses.

Existem diversos outros testes, porém, os que são apresentados na sequência viabilizam a verificação estatística da maior parte dos problemas de negócio que podem ser investigados com testes de hipóteses.

Teste	Testa diferenças entre:	Paramétrico ou não?	Qtde de amostras que compara	Função no R / pacote	Observações
Z	Proporções	Paramétrico	2	Necessário criar
Chi-Squared	Proporções	Não paramétrico	2	prop.test() / Default
T one sample	Médias	Paramétrico	2	t.test() / Default	Pareado
T two sample	Médias	Paramétrico	2	t.test() / Default	Não pareado
Wilcoxon one sample	Distribuições	Não paramétrico		wilcox.test() / Default	Pareado, análogo ao teste T one sample.
Wilcoxon rank sum test (ou Mann Whitney U Test)	Distribuições	Não paramétrico	2	wilcox.test() / Default	Não pareado, análogo ao teste T two sample.
Kruskal-Wallis	Distribuições	Não paramétrico	3 ou mais	kruskal.test / Default	Não pareado. Extensão do Wilcoxon rank sum. Se pelo menos dois grupos apresentarem diferença, então o p-valor é significativo.
Dunn’s Kruskal-Wallis	Distribuições	Não paramétrico	Testa todas as combinações em pares	dunnTest() / FSA	Quando o Kruskal-Wallis é significativo, o Dunn’s test verifica em quais combinações há diferença.

Considerações finais

A estatística fornece diversas metodologias e ferramentas que podem ser aplicadas no dia a dia das empresas. Com a popularização da área de ciência de dados, muito se fala em machine learning e inteligência artificial. Porém, o uso de testes de hipóteses em um projeto de análise de dados traz ganhos relevantes e fundamentais para um posterior uso em modelos preditivos.

Testes de hipóteses, apesar da simplicidade de uso, podem fornecer insumos valiosos para a tomada de decisão, tanto no meio acadêmico (onde seu valor já está mais que provado), quanto no meio corporativo.

Para saber mais sobre como elaborar projetos de análise de dados considere estudar o “Business Analytics Canvas“ desenvolvido pela empresa Aquarela Advanced Analytics, especializada em soluções para Data Science.

Referências

Barbetta, P. A. (2008). Estatística aplicada às ciências sociais. Ed. UFSC.

Morettin, P. A., & Bussab, W. O. (2017). Estatística básica. Editora Saraiva.

Zibetti, André. Teste de Hipóteses. Link.